Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Hepatitis (10% of outliers version#03)

A data set for prediction whether a patient suffering from hepatitis will die (outliers) or survive (inliers).

Download all data set variants used (21.2 kB). You can also access the original data. (hepatitis.data)

Normalized, without duplicates

This version contains 19 attributes, 74 objects, 7 outliers (9.46%)

Download raw algorithm results (468.7 kB) Download raw algorithm evaluation table (31.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 14 0.42857 0.36887 0.33329 0.26364 0.47059 0.41528 0.82729
KNN 43 0.28571 0.21109 0.34604 0.27771 0.48000 0.42567 0.85501
KNN 44 0.28571 0.21109 0.35166 0.28392 0.48000 0.42567 0.86141
KNNW 15 0.14286 0.05330 0.21924 0.13767 0.40000 0.33731 0.77612
KNNW 26 0.28571 0.21109 0.24588 0.16710 0.40000 0.33731 0.80384
KNNW 65 0.28571 0.21109 0.28828 0.21392 0.40000 0.33731 0.83369
KNNW 66 0.28571 0.21109 0.29203 0.21806 0.40000 0.33731 0.83369
LOF 23 0.42857 0.36887 0.37711 0.31203 0.46154 0.40528 0.77825
LOF 26 0.42857 0.36887 0.33075 0.26083 0.53333 0.48458 0.81237
LOF 53 0.28571 0.21109 0.31726 0.24593 0.48276 0.42872 0.86994
SimplifiedLOF 51 0.14286 0.05330 0.24900 0.17054 0.42105 0.36057 0.77825
SimplifiedLOF 52 0.28571 0.21109 0.24526 0.16641 0.42105 0.36057 0.78678
SimplifiedLOF 66 0.28571 0.21109 0.30721 0.23483 0.40000 0.33731 0.82729
LoOP 25 0.28571 0.21109 0.17217 0.08568 0.30769 0.23536 0.60768
LoOP 41 0.14286 0.05330 0.30702 0.23462 0.32258 0.25181 0.73987
LoOP 52 0.28571 0.21109 0.26344 0.18648 0.42105 0.36057 0.79531
LoOP 69 0.28571 0.21109 0.28511 0.21042 0.40000 0.33731 0.82303
LDOF 50 0.28571 0.21109 0.20584 0.12287 0.30000 0.22687 0.71855
LDOF 58 0.28571 0.21109 0.26005 0.18274 0.42105 0.36057 0.78465
LDOF 67 0.28571 0.21109 0.29697 0.22352 0.38095 0.31628 0.81237
LDOF 73 0.28571 0.21109 0.28712 0.21264 0.40000 0.33731 0.82729
ODIN 29 0.42857 0.36887 0.27708 0.20155 0.42857 0.36887 0.78038
ODIN 42 0.42857 0.36887 0.38915 0.32532 0.50000 0.44776 0.83902
ODIN 44 0.42857 0.36887 0.39625 0.33317 0.44444 0.38640 0.82942
ODIN 54 0.42857 0.36887 0.33236 0.26261 0.43478 0.37573 0.84755
FastABOD 3 0.28571 0.21109 0.24419 0.16522 0.31579 0.24430 0.72495
FastABOD 51 0.14286 0.05330 0.26329 0.18632 0.36364 0.29715 0.78891
FastABOD 62 0.14286 0.05330 0.24127 0.16200 0.41379 0.35255 0.80597
KDEOS 18 0.28571 0.21109 0.14125 0.05153 0.28571 0.21109 0.49254
KDEOS 65 0.14286 0.05330 0.22922 0.14869 0.33333 0.26368 0.75053
KDEOS 68 0.14286 0.05330 0.21812 0.13643 0.36842 0.30244 0.76759
KDEOS 73 0.14286 0.05330 0.22716 0.14641 0.36842 0.30244 0.78678
LDF 13 0.28571 0.21109 0.27819 0.20278 0.40000 0.33731 0.69296
LDF 17 0.28571 0.21109 0.45983 0.40340 0.48000 0.42567 0.84222
LDF 18 0.28571 0.21109 0.45608 0.39925 0.50000 0.44776 0.84222
LDF 47 0.14286 0.05330 0.30992 0.23783 0.50000 0.44776 0.87207
INFLO 27 0.28571 0.21109 0.27330 0.19737 0.37500 0.30970 0.70789
INFLO 38 0.28571 0.21109 0.31237 0.24053 0.33333 0.26368 0.65565
INFLO 45 0.28571 0.21109 0.28947 0.21524 0.44444 0.38640 0.69616
INFLO 46 0.42857 0.36887 0.27485 0.19909 0.42857 0.36887 0.69510
COF 29 0.42857 0.36887 0.36997 0.30414 0.55556 0.50912 0.84222
COF 33 0.28571 0.21109 0.31906 0.24792 0.58824 0.54522 0.83156
COF 50 0.42857 0.36887 0.38407 0.31972 0.52174 0.47177 0.86567
COF 71 0.42857 0.36887 0.41308 0.35176 0.53333 0.48458 0.81023

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 19 attributes, 74 objects, 7 outliers (9.46%)

Download raw algorithm results (471.0 kB) Download raw algorithm evaluation table (29.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.14286 0.05330 0.17735 0.09141 0.25000 0.17164 0.60021
KNN 11 0.14286 0.05330 0.19424 0.11006 0.33333 0.26368 0.68337
KNNW 1 0.14286 0.05330 0.13235 0.04170 0.21739 0.13563 0.53838
KNNW 15 0.14286 0.05330 0.17847 0.09264 0.29630 0.22278 0.65458
KNNW 16 0.14286 0.05330 0.17972 0.09402 0.30769 0.23536 0.65458
LOF 10 0.28571 0.21109 0.16565 0.07848 0.28571 0.21109 0.53518
LOF 16 0.28571 0.21109 0.22770 0.14701 0.33333 0.26368 0.63539
LOF 71 0.14286 0.05330 0.20478 0.12170 0.36364 0.29715 0.71002
SimplifiedLOF 31 0.28571 0.21109 0.21050 0.12801 0.28571 0.21109 0.63966
SimplifiedLOF 43 0.14286 0.05330 0.20487 0.12179 0.29412 0.22037 0.65032
SimplifiedLOF 60 0.14286 0.05330 0.17709 0.09112 0.30769 0.23536 0.63966
LoOP 4 0.14286 0.05330 0.12112 0.02929 0.20000 0.11642 0.42644
LoOP 45 0.14286 0.05330 0.20237 0.11904 0.28571 0.21109 0.65458
LoOP 65 0.14286 0.05330 0.17047 0.08380 0.32000 0.24896 0.63753
LDOF 5 0.14286 0.05330 0.13765 0.04755 0.22727 0.14654 0.59915
LDOF 30 0.14286 0.05330 0.18706 0.10212 0.26667 0.19005 0.55224
LDOF 71 0.14286 0.05330 0.17889 0.09310 0.32000 0.24896 0.64179
ODIN 39 0.28571 0.21109 0.21584 0.13392 0.28571 0.21109 0.64179
ODIN 43 0.17857 0.09275 0.19692 0.11302 0.32000 0.24896 0.65245
ODIN 46 0.14286 0.05330 0.19987 0.11628 0.30769 0.23536 0.66951
FastABOD 3 0.14286 0.05330 0.14295 0.05341 0.27778 0.20232 0.58849
FastABOD 18 0.14286 0.05330 0.17627 0.09021 0.31250 0.24067 0.63966
FastABOD 44 0.14286 0.05330 0.17764 0.09172 0.31250 0.24067 0.64392
FastABOD 49 0.14286 0.05330 0.17843 0.09260 0.31250 0.24067 0.64392
KDEOS 54 0.28571 0.21109 0.15925 0.07141 0.28571 0.21109 0.61834
KDEOS 56 0.28571 0.21109 0.18812 0.10330 0.33333 0.26368 0.62900
KDEOS 65 0.14286 0.05330 0.20209 0.11873 0.29412 0.22037 0.64606
KDEOS 67 0.14286 0.05330 0.26960 0.19329 0.31250 0.24067 0.64392
LDF 6 0.28571 0.21109 0.19158 0.10712 0.33333 0.26368 0.44989
LDF 11 0.28571 0.21109 0.29890 0.22565 0.47059 0.41528 0.73561
INFLO 44 0.14286 0.05330 0.17676 0.09075 0.31250 0.24067 0.67804
INFLO 47 0.14286 0.05330 0.16823 0.08132 0.32000 0.24896 0.63753
INFLO 69 0.16770 0.08075 0.12870 0.03767 0.20000 0.11642 0.54158
COF 15 0.28571 0.21109 0.21830 0.13663 0.35897 0.29200 0.75160
COF 19 0.28571 0.21109 0.23658 0.15682 0.32258 0.25181 0.69296

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO