Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Hepatitis (10% of outliers version#07)

A data set for prediction whether a patient suffering from hepatitis will die (outliers) or survive (inliers).

Download all data set variants used (21.2 kB). You can also access the original data. (hepatitis.data)

Normalized, without duplicates

This version contains 19 attributes, 74 objects, 7 outliers (9.46%)

Download raw algorithm results (469.8 kB) Download raw algorithm evaluation table (31.0 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 15 0.42857 0.36887 0.29056 0.21644 0.44444 0.38640 0.81023
KNN 43 0.28571 0.21109 0.32060 0.24961 0.42105 0.36057 0.80384
KNN 44 0.28571 0.21109 0.29925 0.22604 0.42105 0.36057 0.81876
KNN 57 0.42857 0.36887 0.31483 0.24324 0.46154 0.40528 0.77612
KNNW 18 0.14286 0.05330 0.21732 0.13555 0.40000 0.33731 0.76546
KNNW 25 0.28571 0.21109 0.23343 0.15334 0.40000 0.33731 0.78038
KNNW 49 0.28571 0.21109 0.26101 0.18381 0.40000 0.33731 0.79531
KNNW 57 0.28571 0.21109 0.26457 0.18773 0.40000 0.33731 0.79318
LOF 22 0.42857 0.36887 0.37660 0.31147 0.42857 0.36887 0.79104
LOF 24 0.42857 0.36887 0.40266 0.34025 0.42857 0.36887 0.80597
LOF 25 0.42857 0.36887 0.36599 0.29975 0.50000 0.44776 0.81237
LOF 45 0.28571 0.21109 0.31032 0.23827 0.41667 0.35572 0.84009
SimplifiedLOF 26 0.28571 0.21109 0.19693 0.11302 0.28571 0.21109 0.67804
SimplifiedLOF 35 0.14286 0.05330 0.30056 0.22748 0.30435 0.23167 0.73987
SimplifiedLOF 54 0.28571 0.21109 0.26150 0.18435 0.42105 0.36057 0.78891
SimplifiedLOF 64 0.28571 0.21109 0.29252 0.21860 0.40000 0.33731 0.79318
LoOP 24 0.28571 0.21109 0.20017 0.11661 0.30769 0.23536 0.67804
LoOP 42 0.14286 0.05330 0.31752 0.24622 0.33333 0.26368 0.75906
LoOP 53 0.28571 0.21109 0.26563 0.18890 0.40000 0.33731 0.79744
LoOP 54 0.28571 0.21109 0.26475 0.18794 0.42105 0.36057 0.79531
LDOF 34 0.28571 0.21109 0.19478 0.11065 0.30769 0.23536 0.71642
LDOF 58 0.28571 0.21109 0.25042 0.17210 0.40000 0.33731 0.77399
LDOF 64 0.28571 0.21109 0.29051 0.21639 0.38095 0.31628 0.79318
ODIN 29 0.42857 0.36887 0.30463 0.23198 0.42857 0.36887 0.78252
ODIN 41 0.42857 0.36887 0.29410 0.22035 0.46154 0.40528 0.79424
ODIN 42 0.42857 0.36887 0.33760 0.26840 0.46154 0.40528 0.79531
FastABOD 3 0.14286 0.05330 0.18938 0.10469 0.33333 0.26368 0.71002
FastABOD 38 0.14286 0.05330 0.22863 0.14804 0.41667 0.35572 0.78891
FastABOD 54 0.14286 0.05330 0.25571 0.17795 0.40000 0.33731 0.81023
FastABOD 59 0.14286 0.05330 0.24403 0.16505 0.40000 0.33731 0.81237
KDEOS 18 0.28571 0.21109 0.14605 0.05683 0.28571 0.21109 0.49467
KDEOS 19 0.28571 0.21109 0.19070 0.10614 0.36364 0.29715 0.51812
KDEOS 72 0.14286 0.05330 0.21848 0.13683 0.33333 0.26368 0.77186
LDF 3 0.28571 0.21109 0.13516 0.04481 0.30769 0.23536 0.40085
LDF 17 0.28571 0.21109 0.44955 0.39204 0.44444 0.38640 0.77612
LDF 42 0.28571 0.21109 0.28205 0.20704 0.45455 0.39756 0.84435
LDF 49 0.14286 0.05330 0.25946 0.18209 0.46154 0.40528 0.79744
INFLO 24 0.28571 0.21109 0.29036 0.21622 0.46154 0.40528 0.79318
INFLO 26 0.42857 0.36887 0.33070 0.26078 0.50000 0.44776 0.78785
COF 29 0.42857 0.36887 0.26097 0.18376 0.43478 0.37573 0.76119
COF 55 0.14286 0.05330 0.28384 0.20902 0.43478 0.37573 0.79957
COF 67 0.42857 0.36887 0.31365 0.24194 0.53333 0.48458 0.74840
COF 72 0.42857 0.36887 0.33580 0.26640 0.53333 0.48458 0.78891

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 19 attributes, 74 objects, 7 outliers (9.46%)

Download raw algorithm results (471.3 kB) Download raw algorithm evaluation table (29.2 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 11 0.14286 0.05330 0.15960 0.07180 0.28571 0.21109 0.64286
KNN 70 0.28571 0.21109 0.16149 0.07389 0.28571 0.21109 0.50107
KNNW 1 0.14286 0.05330 0.13634 0.04611 0.21429 0.13220 0.56397
KNNW 13 0.14286 0.05330 0.15056 0.06181 0.24490 0.16601 0.60768
LOF 2 0.28571 0.21109 0.15909 0.07123 0.30769 0.23536 0.43603
LOF 16 0.28571 0.21109 0.20788 0.12512 0.28571 0.21109 0.61194
LOF 71 0.14286 0.05330 0.16394 0.07659 0.29630 0.22278 0.64392
SimplifiedLOF 4 0.14286 0.05330 0.12720 0.03601 0.21053 0.12804 0.45416
SimplifiedLOF 26 0.14286 0.05330 0.19468 0.11054 0.26667 0.19005 0.59915
SimplifiedLOF 46 0.14286 0.05330 0.15435 0.06599 0.25532 0.17752 0.61620
LoOP 5 0.14286 0.05330 0.11009 0.01711 0.18519 0.10006 0.43284
LoOP 30 0.14286 0.05330 0.19123 0.10673 0.26667 0.19005 0.62367
LoOP 32 0.14286 0.05330 0.18904 0.10431 0.28571 0.21109 0.61727
LDOF 4 0.14286 0.05330 0.11739 0.02517 0.20513 0.12208 0.49041
LDOF 33 0.14286 0.05330 0.17647 0.09043 0.22222 0.14096 0.56503
LDOF 48 0.14286 0.05330 0.15963 0.07183 0.26667 0.19005 0.60128
LDOF 49 0.14286 0.05330 0.16329 0.07587 0.26667 0.19005 0.60981
ODIN 26 0.14286 0.05330 0.18377 0.09849 0.23529 0.15540 0.57569
ODIN 34 0.14286 0.05330 0.16298 0.07554 0.24000 0.16060 0.59701
ODIN 45 0.14286 0.05330 0.16305 0.07561 0.26087 0.18365 0.56823
ODIN 72 0.19115 0.10664 0.12870 0.03767 0.20000 0.11642 0.55437
FastABOD 3 0.14286 0.05330 0.13070 0.03988 0.23529 0.15540 0.53518
FastABOD 8 0.14286 0.05330 0.15628 0.06813 0.24242 0.16327 0.57569
FastABOD 18 0.14286 0.05330 0.15446 0.06613 0.25806 0.18055 0.56716
KDEOS 46 0.28571 0.21109 0.15949 0.07168 0.28571 0.21109 0.57783
KDEOS 48 0.28571 0.21109 0.17855 0.09273 0.33333 0.26368 0.59488
KDEOS 57 0.14286 0.05330 0.19936 0.11572 0.26667 0.19005 0.61407
KDEOS 60 0.14286 0.05330 0.26977 0.19348 0.26667 0.19005 0.61407
LDF 10 0.28571 0.21109 0.25097 0.17271 0.36364 0.29715 0.64819
LDF 11 0.28571 0.21109 0.24720 0.16855 0.37500 0.30970 0.65672
INFLO 4 0.14286 0.05330 0.11436 0.02183 0.19718 0.11331 0.45949
INFLO 18 0.14286 0.05330 0.16883 0.08199 0.22222 0.14096 0.45096
INFLO 44 0.14286 0.05330 0.14405 0.05462 0.25806 0.18055 0.61301
INFLO 45 0.14286 0.05330 0.14541 0.05612 0.25806 0.18055 0.61514
COF 14 0.14286 0.05330 0.17842 0.09258 0.31250 0.24067 0.69510
COF 15 0.28571 0.21109 0.22664 0.14584 0.30769 0.23536 0.67804

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO