Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Hepatitis (10% of outliers version#06)

A data set for prediction whether a patient suffering from hepatitis will die (outliers) or survive (inliers).

Download all data set variants used (21.2 kB). You can also access the original data. (hepatitis.data)

Normalized, without duplicates

This version contains 19 attributes, 74 objects, 7 outliers (9.46%)

Download raw algorithm results (470.2 kB) Download raw algorithm evaluation table (30.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 4 0.28571 0.21109 0.20455 0.12144 0.36364 0.29715 0.73348
KNN 15 0.28571 0.21109 0.23154 0.15126 0.40000 0.33731 0.75480
KNN 28 0.14286 0.05330 0.21292 0.13069 0.42857 0.36887 0.76546
KNN 32 0.14286 0.05330 0.22527 0.14432 0.42857 0.36887 0.79104
KNNW 13 0.00000 -0.10448 0.19738 0.11352 0.38095 0.31628 0.73774
KNNW 18 0.14286 0.05330 0.19710 0.11322 0.36364 0.29715 0.73774
KNNW 59 0.14286 0.05330 0.20263 0.11932 0.34783 0.27969 0.75906
KNNW 70 0.14286 0.05330 0.20498 0.12191 0.36364 0.29715 0.75906
LOF 18 0.28571 0.21109 0.31243 0.24060 0.50000 0.44776 0.83582
LOF 20 0.28571 0.21109 0.38769 0.32372 0.43478 0.37573 0.82729
LOF 21 0.42857 0.36887 0.35046 0.28260 0.53333 0.48458 0.83156
SimplifiedLOF 30 0.14286 0.05330 0.25764 0.18008 0.45455 0.39756 0.81876
SimplifiedLOF 39 0.14286 0.05330 0.32228 0.25147 0.34783 0.27969 0.77825
SimplifiedLOF 46 0.28571 0.21109 0.23019 0.14976 0.36364 0.29715 0.77825
LoOP 24 0.28571 0.21109 0.22100 0.13961 0.32258 0.25181 0.75053
LoOP 29 0.14286 0.05330 0.23767 0.15802 0.43478 0.37573 0.80384
LoOP 30 0.14286 0.05330 0.23783 0.15820 0.45455 0.39756 0.80384
LoOP 39 0.14286 0.05330 0.31126 0.23930 0.33333 0.26368 0.75906
LDOF 29 0.14286 0.05330 0.30049 0.22741 0.35294 0.28534 0.74414
LDOF 30 0.14286 0.05330 0.23755 0.15790 0.40000 0.33731 0.75267
LDOF 52 0.14286 0.05330 0.21753 0.13578 0.36364 0.29715 0.78038
LDOF 53 0.28571 0.21109 0.23062 0.15024 0.34286 0.27420 0.77612
ODIN 25 0.14286 0.05330 0.26463 0.18780 0.36364 0.29715 0.79104
ODIN 29 0.28571 0.21109 0.26949 0.19317 0.36364 0.29715 0.78252
ODIN 36 0.28571 0.21109 0.24348 0.16444 0.38462 0.32032 0.77399
ODIN 42 0.28571 0.21109 0.27658 0.20100 0.36364 0.29715 0.78998
FastABOD 4 0.28571 0.21109 0.20143 0.11800 0.33333 0.26368 0.68230
FastABOD 42 0.14286 0.05330 0.22855 0.14795 0.43478 0.37573 0.78678
FastABOD 49 0.14286 0.05330 0.23689 0.15716 0.41667 0.35572 0.79318
KDEOS 17 0.14286 0.05330 0.14303 0.05350 0.27273 0.19674 0.60981
KDEOS 48 0.00000 -0.10448 0.17270 0.08627 0.36364 0.29715 0.73561
KDEOS 52 0.00000 -0.10448 0.18691 0.10196 0.36364 0.29715 0.75480
KDEOS 69 0.14286 0.05330 0.19548 0.11142 0.34783 0.27969 0.74414
LDF 13 0.42857 0.36887 0.26500 0.18821 0.42857 0.36887 0.67377
LDF 14 0.42857 0.36887 0.28135 0.20627 0.46154 0.40528 0.69510
LDF 44 0.00000 -0.10448 0.21568 0.13374 0.38095 0.31628 0.78678
INFLO 15 0.28571 0.21109 0.28670 0.21217 0.30769 0.23536 0.61620
INFLO 18 0.14286 0.05330 0.29127 0.21723 0.33333 0.26368 0.70043
INFLO 26 0.28571 0.21109 0.22657 0.14576 0.36364 0.29715 0.65672
COF 67 0.42857 0.36887 0.30100 0.22797 0.42857 0.36887 0.78465
COF 70 0.42857 0.36887 0.48070 0.42644 0.54545 0.49796 0.82090
COF 71 0.42857 0.36887 0.48075 0.42650 0.54545 0.49796 0.82729

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 19 attributes, 74 objects, 7 outliers (9.46%)

Download raw algorithm results (471.8 kB) Download raw algorithm evaluation table (28.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.14286 0.05330 0.10758 0.01435 0.19355 0.10929 0.44350
KNN 67 0.00000 -0.10448 0.14169 0.05202 0.27586 0.20021 0.58209
KNN 70 0.14286 0.05330 0.15570 0.06749 0.25806 0.18055 0.56716
KNN 72 0.00000 -0.10448 0.13007 0.03919 0.27273 0.19674 0.59062
KNNW 1 0.14286 0.05330 0.11462 0.02212 0.18750 0.10261 0.43817
KNNW 3 0.14286 0.05330 0.12956 0.03862 0.20339 0.12016 0.46695
KNNW 6 0.14286 0.05330 0.12402 0.03250 0.22222 0.14096 0.50533
KNNW 7 0.14286 0.05330 0.12544 0.03407 0.22222 0.14096 0.51386
LOF 2 0.14286 0.05330 0.15506 0.06678 0.23077 0.15040 0.59062
LOF 3 0.00000 -0.10448 0.12686 0.03563 0.28571 0.21109 0.61620
LOF 6 0.14286 0.05330 0.16319 0.07576 0.27586 0.20021 0.65032
SimplifiedLOF 5 0.14286 0.05330 0.12214 0.03043 0.25000 0.17164 0.49041
SimplifiedLOF 6 0.14286 0.05330 0.14572 0.05646 0.21429 0.13220 0.53305
SimplifiedLOF 19 0.14286 0.05330 0.16335 0.07594 0.22222 0.14096 0.53092
LoOP 5 0.14286 0.05330 0.12463 0.03317 0.25806 0.18055 0.51919
LoOP 6 0.14286 0.05330 0.13816 0.04812 0.23077 0.15040 0.55224
LoOP 24 0.14286 0.05330 0.16381 0.07644 0.22222 0.14096 0.53838
LDOF 5 0.14286 0.05330 0.16025 0.07251 0.31579 0.24430 0.55011
LDOF 7 0.28571 0.21109 0.20206 0.11869 0.28571 0.21109 0.56077
LDOF 9 0.14286 0.05330 0.15893 0.07105 0.23529 0.15540 0.57143
ODIN 9 0.14286 0.05330 0.14321 0.05369 0.23529 0.15540 0.63646
ODIN 10 0.14286 0.05330 0.14981 0.06099 0.26667 0.19005 0.62154
ODIN 24 0.14286 0.05330 0.15427 0.06591 0.22222 0.14096 0.46588
ODIN 72 0.19115 0.10664 0.12870 0.03767 0.20000 0.11642 0.55437
FastABOD 3 0.14286 0.05330 0.10774 0.01452 0.18750 0.10261 0.44136
FastABOD 4 0.14286 0.05330 0.12105 0.02922 0.20000 0.11642 0.40085
FastABOD 15 0.14286 0.05330 0.12753 0.03638 0.20000 0.11642 0.44563
FastABOD 53 0.14286 0.05330 0.12834 0.03727 0.20000 0.11642 0.44563
KDEOS 2 0.42857 0.36887 0.34106 0.27222 0.46154 0.40528 0.60981
LDF 1 0.28571 0.21109 0.19847 0.11473 0.33333 0.26368 0.59701
INFLO 4 0.28571 0.21109 0.18994 0.10531 0.31250 0.24067 0.68230
INFLO 5 0.28571 0.21109 0.23114 0.15081 0.40000 0.33731 0.73134
COF 2 0.14286 0.05330 0.16785 0.08091 0.26087 0.18365 0.55117
COF 16 0.28571 0.21109 0.19399 0.10978 0.30769 0.23536 0.51493

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO