Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Hepatitis (10% of outliers version#01)

A data set for prediction whether a patient suffering from hepatitis will die (outliers) or survive (inliers).

Download all data set variants used (21.2 kB). You can also access the original data. (hepatitis.data)

Normalized, without duplicates

This version contains 19 attributes, 74 objects, 7 outliers (9.46%)

Download raw algorithm results (468.9 kB) Download raw algorithm evaluation table (31.0 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 15 0.28571 0.21109 0.20877 0.12610 0.35294 0.28534 0.75373
KNN 23 0.14286 0.05330 0.23571 0.15586 0.40000 0.33731 0.81237
KNN 28 0.14286 0.05330 0.24680 0.16811 0.40000 0.33731 0.80810
KNN 30 0.14286 0.05330 0.22610 0.14524 0.41379 0.35255 0.79318
KNNW 1 0.14286 0.05330 0.17947 0.09374 0.35294 0.28534 0.70043
KNNW 45 0.14286 0.05330 0.20556 0.12256 0.36842 0.30244 0.76333
KNNW 49 0.14286 0.05330 0.20880 0.12614 0.36842 0.30244 0.76972
KNNW 65 0.14286 0.05330 0.20890 0.12625 0.36842 0.30244 0.76759
LOF 15 0.28571 0.21109 0.16388 0.07652 0.28571 0.21109 0.63113
LOF 23 0.28571 0.21109 0.35042 0.28256 0.40000 0.33731 0.77399
LOF 46 0.14286 0.05330 0.23494 0.15500 0.38889 0.32504 0.80597
LOF 55 0.14286 0.05330 0.22379 0.14269 0.41667 0.35572 0.80171
SimplifiedLOF 22 0.14286 0.05330 0.12089 0.02905 0.21212 0.12981 0.52026
SimplifiedLOF 42 0.14286 0.05330 0.28722 0.21275 0.29787 0.22452 0.70576
SimplifiedLOF 59 0.14286 0.05330 0.21173 0.12937 0.37838 0.31343 0.75480
SimplifiedLOF 65 0.14286 0.05330 0.21235 0.13005 0.36842 0.30244 0.75693
LoOP 41 0.14286 0.05330 0.28927 0.21502 0.30435 0.23167 0.70789
LoOP 44 0.28571 0.21109 0.22927 0.14875 0.30435 0.23167 0.71855
LoOP 53 0.14286 0.05330 0.21310 0.13088 0.35897 0.29200 0.75693
LoOP 55 0.14286 0.05330 0.20237 0.11904 0.36842 0.30244 0.75693
LDOF 2 0.14286 0.05330 0.14620 0.05699 0.25000 0.17164 0.58635
LDOF 42 0.14286 0.05330 0.26972 0.19342 0.26415 0.18727 0.66311
LDOF 65 0.14286 0.05330 0.21048 0.12800 0.36842 0.30244 0.75267
LDOF 67 0.14286 0.05330 0.21025 0.12774 0.36842 0.30244 0.75480
ODIN 29 0.28571 0.21109 0.31123 0.23927 0.30769 0.23536 0.74840
ODIN 48 0.21429 0.13220 0.26146 0.18430 0.35294 0.28534 0.78785
ODIN 56 0.14286 0.05330 0.21245 0.13017 0.36364 0.29715 0.77719
FastABOD 4 0.28571 0.21109 0.18161 0.09611 0.31579 0.24430 0.62900
FastABOD 24 0.14286 0.05330 0.19265 0.10830 0.32432 0.25373 0.71855
FastABOD 37 0.14286 0.05330 0.22292 0.14174 0.30000 0.22687 0.72281
FastABOD 41 0.14286 0.05330 0.22408 0.14301 0.29268 0.21878 0.72068
KDEOS 2 0.14286 0.05330 0.09391 -0.00076 0.17284 0.08642 0.36994
KDEOS 65 0.14286 0.05330 0.18945 0.10477 0.33333 0.26368 0.71642
KDEOS 67 0.14286 0.05330 0.21635 0.13448 0.33333 0.26368 0.72495
KDEOS 72 0.14286 0.05330 0.19671 0.11278 0.33333 0.26368 0.72921
LDF 13 0.28571 0.21109 0.33468 0.26516 0.40000 0.33731 0.66311
LDF 18 0.14286 0.05330 0.24586 0.16707 0.45161 0.39432 0.83156
LDF 25 0.00000 -0.10448 0.23733 0.15764 0.46154 0.40528 0.82303
INFLO 20 0.14286 0.05330 0.16779 0.08084 0.26087 0.18365 0.61620
INFLO 23 0.14286 0.05330 0.19068 0.10612 0.28571 0.21109 0.58742
INFLO 51 0.28571 0.21109 0.14502 0.05570 0.28571 0.21109 0.55650
COF 29 0.28571 0.21109 0.28341 0.20855 0.46154 0.40528 0.85288
COF 51 0.14286 0.05330 0.27593 0.20028 0.54545 0.49796 0.85075
COF 70 0.28571 0.21109 0.36699 0.30086 0.47619 0.42146 0.81663

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 19 attributes, 74 objects, 7 outliers (9.46%)

Download raw algorithm results (472.0 kB) Download raw algorithm evaluation table (28.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.14286 0.05330 0.15311 0.06463 0.22222 0.14096 0.46375
KNN 2 0.14286 0.05330 0.15378 0.06536 0.22222 0.14096 0.47655
KNN 14 0.14286 0.05330 0.14309 0.05356 0.26415 0.18727 0.55011
KNN 21 0.14286 0.05330 0.14954 0.06069 0.24490 0.16601 0.58422
KNNW 1 0.14286 0.05330 0.11985 0.02789 0.20896 0.12631 0.46375
KNNW 3 0.14286 0.05330 0.15570 0.06749 0.22222 0.14096 0.48827
KNNW 17 0.14286 0.05330 0.14019 0.05036 0.25000 0.17164 0.53731
KNNW 30 0.14286 0.05330 0.14382 0.05437 0.24138 0.16212 0.55864
LOF 3 0.28571 0.21109 0.15816 0.07021 0.28571 0.21109 0.59915
LOF 5 0.28571 0.21109 0.20456 0.12145 0.33333 0.26368 0.55224
SimplifiedLOF 4 0.14286 0.05330 0.12915 0.03816 0.20000 0.11642 0.45416
SimplifiedLOF 5 0.14286 0.05330 0.16552 0.07834 0.22222 0.14096 0.47974
SimplifiedLOF 9 0.14286 0.05330 0.14250 0.05291 0.23529 0.15540 0.46695
SimplifiedLOF 34 0.14286 0.05330 0.16520 0.07798 0.22581 0.14492 0.54797
LoOP 4 0.14286 0.05330 0.12980 0.03889 0.20000 0.11642 0.47122
LoOP 5 0.14286 0.05330 0.17144 0.08488 0.25000 0.17164 0.48188
LoOP 8 0.14286 0.05330 0.17233 0.08586 0.23529 0.15540 0.51812
LoOP 28 0.14286 0.05330 0.16725 0.08024 0.22581 0.14492 0.55011
LDOF 5 0.14286 0.05330 0.15985 0.07207 0.25641 0.17872 0.61620
LDOF 6 0.14286 0.05330 0.15316 0.06468 0.26667 0.19005 0.59275
LDOF 7 0.14286 0.05330 0.18174 0.09625 0.24000 0.16060 0.58635
LDOF 9 0.14286 0.05330 0.16985 0.08311 0.25000 0.17164 0.63326
ODIN 8 0.25000 0.17164 0.14355 0.05407 0.26667 0.19005 0.54904
ODIN 12 0.17143 0.08486 0.18819 0.10337 0.23529 0.15540 0.63006
FastABOD 3 0.14286 0.05330 0.10833 0.01517 0.19048 0.10590 0.44776
FastABOD 30 0.14286 0.05330 0.13106 0.04028 0.20896 0.12631 0.47761
FastABOD 31 0.14286 0.05330 0.13165 0.04093 0.20896 0.12631 0.48188
FastABOD 51 0.14286 0.05330 0.13234 0.04168 0.20896 0.12631 0.48188
KDEOS 4 0.28571 0.21109 0.17201 0.08550 0.33333 0.26368 0.50959
KDEOS 49 0.00000 -0.10448 0.11440 0.02187 0.24138 0.16212 0.54797
KDEOS 68 0.14286 0.05330 0.23286 0.15271 0.25000 0.17164 0.52878
LDF 2 0.14286 0.05330 0.18453 0.09934 0.25000 0.17164 0.57783
LDF 3 0.28571 0.21109 0.15456 0.06623 0.28571 0.21109 0.58635
LDF 59 0.14286 0.05330 0.16841 0.08153 0.30303 0.23021 0.61620
LDF 69 0.14286 0.05330 0.15907 0.07121 0.30000 0.22687 0.66525
INFLO 4 0.28571 0.21109 0.17986 0.09417 0.31579 0.24430 0.63113
INFLO 5 0.28571 0.21109 0.19071 0.10615 0.30769 0.23536 0.58209
COF 6 0.14286 0.05330 0.10861 0.01549 0.19178 0.10734 0.46802
COF 13 0.14286 0.05330 0.15001 0.06120 0.30000 0.22687 0.49893
COF 26 0.14286 0.05330 0.16676 0.07970 0.23729 0.15760 0.55437
COF 42 0.00000 -0.10448 0.13183 0.04113 0.28571 0.21109 0.62473

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO