Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Hepatitis (10% of outliers version#02)

A data set for prediction whether a patient suffering from hepatitis will die (outliers) or survive (inliers).

Download all data set variants used (21.2 kB). You can also access the original data. (hepatitis.data)

Normalized, without duplicates

This version contains 19 attributes, 74 objects, 7 outliers (9.46%)

Download raw algorithm results (468.6 kB) Download raw algorithm evaluation table (31.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 14 0.42857 0.36887 0.30341 0.23063 0.46154 0.40528 0.84009
KNN 16 0.28571 0.21109 0.31523 0.24369 0.52632 0.47683 0.83795
KNN 21 0.28571 0.21109 0.31880 0.24763 0.50000 0.44776 0.84222
KNN 44 0.28571 0.21109 0.32368 0.25302 0.46154 0.40528 0.84222
KNNW 25 0.14286 0.05330 0.25360 0.17562 0.47619 0.42146 0.81876
KNNW 32 0.28571 0.21109 0.26543 0.18868 0.47619 0.42146 0.82303
KNNW 36 0.28571 0.21109 0.26607 0.18939 0.47619 0.42146 0.82516
KNNW 57 0.28571 0.21109 0.28297 0.20806 0.45455 0.39756 0.82303
LOF 26 0.57143 0.52665 0.39393 0.33061 0.62500 0.58582 0.85288
LOF 45 0.28571 0.21109 0.31771 0.24642 0.50000 0.44776 0.85714
SimplifiedLOF 53 0.14286 0.05330 0.25523 0.17742 0.50000 0.44776 0.79531
SimplifiedLOF 56 0.28571 0.21109 0.28617 0.21159 0.50000 0.44776 0.81023
SimplifiedLOF 72 0.28571 0.21109 0.27794 0.20250 0.45455 0.39756 0.81450
LoOP 45 0.28571 0.21109 0.23918 0.15969 0.35714 0.28998 0.75480
LoOP 52 0.28571 0.21109 0.25863 0.18118 0.47619 0.42146 0.79104
LoOP 57 0.28571 0.21109 0.26678 0.19018 0.47619 0.42146 0.80597
LoOP 70 0.28571 0.21109 0.27841 0.20302 0.45455 0.39756 0.79318
LDOF 55 0.28571 0.21109 0.22414 0.14308 0.40000 0.33731 0.76333
LDOF 60 0.28571 0.21109 0.26918 0.19283 0.45455 0.39756 0.78465
LDOF 73 0.28571 0.21109 0.27794 0.20250 0.45455 0.39756 0.81450
ODIN 42 0.57143 0.52665 0.41168 0.35021 0.57143 0.52665 0.84328
ODIN 43 0.46429 0.40832 0.40188 0.33939 0.50000 0.44776 0.84755
FastABOD 3 0.28571 0.21109 0.18743 0.10254 0.28571 0.21109 0.66951
FastABOD 31 0.14286 0.05330 0.21921 0.13764 0.46667 0.41095 0.80384
FastABOD 51 0.14286 0.05330 0.23324 0.15313 0.46667 0.41095 0.82090
FastABOD 53 0.14286 0.05330 0.23330 0.15320 0.46667 0.41095 0.82090
KDEOS 60 0.14286 0.05330 0.15412 0.06574 0.29167 0.21766 0.68657
KDEOS 73 0.00000 -0.10448 0.20522 0.12219 0.40000 0.33731 0.77399
LDF 9 0.28571 0.21109 0.27413 0.19829 0.40000 0.33731 0.74627
LDF 14 0.28571 0.21109 0.38662 0.32254 0.40000 0.33731 0.76119
LDF 37 0.28571 0.21109 0.30440 0.23172 0.57143 0.52665 0.86141
LDF 42 0.28571 0.21109 0.32127 0.25036 0.57143 0.52665 0.86994
INFLO 38 0.28571 0.21109 0.32130 0.25040 0.35714 0.28998 0.71429
INFLO 44 0.28571 0.21109 0.27322 0.19729 0.44444 0.38640 0.73774
INFLO 47 0.42857 0.36887 0.29100 0.21693 0.42857 0.36887 0.75906
INFLO 51 0.28571 0.21109 0.27586 0.20020 0.43478 0.37573 0.76546
COF 31 0.42857 0.36887 0.29057 0.21645 0.42857 0.36887 0.82090
COF 66 0.42857 0.36887 0.42005 0.35946 0.57143 0.52665 0.87846
COF 67 0.42857 0.36887 0.39562 0.33248 0.66667 0.63184 0.88060
COF 72 0.42857 0.36887 0.39507 0.33187 0.62500 0.58582 0.88486

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 19 attributes, 74 objects, 7 outliers (9.46%)

Download raw algorithm results (470.9 kB) Download raw algorithm evaluation table (29.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 6 0.14286 0.05330 0.17949 0.09377 0.29167 0.21766 0.70576
KNN 11 0.14286 0.05330 0.18489 0.09973 0.33333 0.26368 0.69936
KNN 70 0.28571 0.21109 0.16002 0.07226 0.28571 0.21109 0.47335
KNNW 1 0.14286 0.05330 0.12303 0.03141 0.21739 0.13563 0.49041
KNNW 13 0.14286 0.05330 0.17055 0.08389 0.28571 0.21109 0.68657
KNNW 16 0.14286 0.05330 0.17216 0.08567 0.29630 0.22278 0.68657
KNNW 69 0.14286 0.05330 0.15382 0.06541 0.30769 0.23536 0.65032
LOF 12 0.28571 0.21109 0.18734 0.10243 0.28571 0.21109 0.65885
LOF 16 0.28571 0.21109 0.22396 0.14288 0.30769 0.23536 0.66311
LOF 69 0.14286 0.05330 0.18475 0.09957 0.37500 0.30970 0.59275
LOF 71 0.28571 0.21109 0.22239 0.14115 0.35714 0.28998 0.71002
SimplifiedLOF 4 0.14286 0.05330 0.11529 0.02286 0.20588 0.12291 0.45203
SimplifiedLOF 37 0.14286 0.05330 0.20557 0.12257 0.29412 0.22037 0.66738
SimplifiedLOF 39 0.14286 0.05330 0.18233 0.09690 0.29412 0.22037 0.67164
SimplifiedLOF 59 0.14286 0.05330 0.16027 0.07253 0.30769 0.23536 0.65458
LoOP 5 0.14286 0.05330 0.11801 0.02586 0.18182 0.09634 0.44030
LoOP 29 0.14286 0.05330 0.19806 0.11428 0.27907 0.20375 0.64819
LoOP 63 0.14286 0.05330 0.14793 0.05891 0.30769 0.23536 0.62900
LDOF 4 0.14286 0.05330 0.13397 0.04349 0.27273 0.19674 0.60341
LDOF 30 0.14286 0.05330 0.17605 0.08997 0.22222 0.14096 0.57143
LDOF 71 0.14286 0.05330 0.16621 0.07909 0.32000 0.24896 0.66525
ODIN 24 0.23810 0.15849 0.18998 0.10535 0.26667 0.19005 0.58849
ODIN 45 0.14286 0.05330 0.19866 0.11493 0.33333 0.26368 0.66205
ODIN 46 0.14286 0.05330 0.19892 0.11522 0.30769 0.23536 0.66418
FastABOD 3 0.14286 0.05330 0.14633 0.05714 0.27778 0.20232 0.61407
FastABOD 10 0.14286 0.05330 0.17838 0.09253 0.29412 0.22037 0.66951
FastABOD 18 0.14286 0.05330 0.17982 0.09413 0.31250 0.24067 0.66311
FastABOD 49 0.14286 0.05330 0.18124 0.09570 0.31250 0.24067 0.66311
KDEOS 45 0.28571 0.21109 0.17794 0.09205 0.30769 0.23536 0.64392
KDEOS 47 0.28571 0.21109 0.19952 0.11589 0.33333 0.26368 0.64819
KDEOS 58 0.28571 0.21109 0.30499 0.23238 0.33333 0.26368 0.68443
LDF 1 0.28571 0.21109 0.17580 0.08969 0.28571 0.21109 0.59808
LDF 9 0.28571 0.21109 0.25874 0.18129 0.44444 0.38640 0.74200
LDF 11 0.28571 0.21109 0.30026 0.22716 0.44444 0.38640 0.78038
INFLO 4 0.28571 0.21109 0.16717 0.08016 0.28571 0.21109 0.61194
INFLO 5 0.14286 0.05330 0.17161 0.08506 0.37500 0.30970 0.55650
INFLO 18 0.14286 0.05330 0.17460 0.08837 0.25000 0.17164 0.45522
INFLO 42 0.14286 0.05330 0.16191 0.07434 0.29412 0.22037 0.66098
COF 14 0.14286 0.05330 0.18171 0.09622 0.30303 0.23021 0.69403
COF 18 0.28571 0.21109 0.21617 0.13428 0.31250 0.24067 0.63220
COF 19 0.28571 0.21109 0.24037 0.16101 0.33333 0.26368 0.65672
COF 28 0.00000 -0.10448 0.15640 0.06826 0.35714 0.28998 0.65032

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO