Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Hepatitis (10% of outliers version#05)

A data set for prediction whether a patient suffering from hepatitis will die (outliers) or survive (inliers).

Download all data set variants used (21.2 kB). You can also access the original data. (hepatitis.data)

Normalized, without duplicates

This version contains 19 attributes, 74 objects, 7 outliers (9.46%)

Download raw algorithm results (468.5 kB) Download raw algorithm evaluation table (31.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 15 0.28571 0.21109 0.21327 0.13107 0.35294 0.28534 0.76226
KNN 19 0.28571 0.21109 0.24858 0.17007 0.44444 0.38640 0.81663
KNN 20 0.28571 0.21109 0.25842 0.18094 0.42857 0.36887 0.82303
KNN 23 0.14286 0.05330 0.24472 0.16582 0.44444 0.38640 0.82516
KNNW 1 0.14286 0.05330 0.17593 0.08984 0.30303 0.23021 0.68124
KNNW 25 0.14286 0.05330 0.19989 0.11630 0.37838 0.31343 0.76119
KNNW 51 0.14286 0.05330 0.21385 0.13172 0.36842 0.30244 0.77825
KNNW 64 0.14286 0.05330 0.21467 0.13262 0.36842 0.30244 0.77825
LOF 16 0.28571 0.21109 0.19318 0.10889 0.30769 0.23536 0.67804
LOF 24 0.28571 0.21109 0.35941 0.29248 0.40000 0.33731 0.77612
LOF 47 0.14286 0.05330 0.25974 0.18240 0.48000 0.42567 0.83369
LOF 54 0.14286 0.05330 0.24899 0.17053 0.48000 0.42567 0.83582
SimplifiedLOF 33 0.14286 0.05330 0.27918 0.20387 0.31579 0.24430 0.63753
SimplifiedLOF 45 0.28571 0.21109 0.22169 0.14037 0.28571 0.21109 0.68017
SimplifiedLOF 58 0.14286 0.05330 0.21139 0.12899 0.36842 0.30244 0.75053
SimplifiedLOF 72 0.14286 0.05330 0.20960 0.12702 0.34146 0.27266 0.76972
LoOP 42 0.14286 0.05330 0.28233 0.20735 0.26923 0.19288 0.68017
LoOP 44 0.28571 0.21109 0.21732 0.13555 0.28571 0.21109 0.67804
LoOP 60 0.14286 0.05330 0.20968 0.12711 0.36842 0.30244 0.75267
LoOP 71 0.14286 0.05330 0.21740 0.13564 0.33333 0.26368 0.76333
LDOF 2 0.14286 0.05330 0.11533 0.02290 0.20513 0.12208 0.48614
LDOF 45 0.14286 0.05330 0.25742 0.17983 0.25000 0.17164 0.61194
LDOF 65 0.14286 0.05330 0.20591 0.12295 0.35000 0.28209 0.74200
LDOF 73 0.14286 0.05330 0.20824 0.12552 0.34146 0.27266 0.76759
ODIN 29 0.28571 0.21109 0.30886 0.23666 0.30000 0.22687 0.73241
ODIN 43 0.28571 0.21109 0.31329 0.24155 0.40000 0.33731 0.78145
ODIN 55 0.14286 0.05330 0.25907 0.18166 0.43478 0.37573 0.81557
FastABOD 4 0.42857 0.36887 0.43971 0.38118 0.50000 0.44776 0.73987
KDEOS 2 0.14286 0.05330 0.10600 0.01260 0.18182 0.09634 0.41684
KDEOS 67 0.14286 0.05330 0.28973 0.21552 0.31818 0.24695 0.72708
KDEOS 72 0.14286 0.05330 0.20301 0.11974 0.36842 0.30244 0.74200
KDEOS 73 0.14286 0.05330 0.20484 0.12176 0.36842 0.30244 0.74414
LDF 13 0.28571 0.21109 0.32701 0.25669 0.36364 0.29715 0.71642
LDF 15 0.14286 0.05330 0.31701 0.24565 0.48276 0.42872 0.85928
LDF 24 0.00000 -0.10448 0.25202 0.17388 0.51852 0.46821 0.84009
INFLO 28 0.14286 0.05330 0.19343 0.10916 0.26667 0.19005 0.62047
INFLO 40 0.28571 0.21109 0.16271 0.07523 0.28571 0.21109 0.56077
COF 26 0.14286 0.05330 0.34561 0.27724 0.63636 0.59837 0.89339
COF 67 0.42857 0.36887 0.35743 0.29029 0.47619 0.42146 0.82303
COF 70 0.42857 0.36887 0.37836 0.31342 0.44444 0.38640 0.82516

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 19 attributes, 74 objects, 7 outliers (9.46%)

Download raw algorithm results (471.7 kB) Download raw algorithm evaluation table (28.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.14286 0.05330 0.16769 0.08073 0.22222 0.14096 0.54371
KNN 13 0.14286 0.05330 0.14380 0.05435 0.26923 0.19288 0.59915
KNN 14 0.14286 0.05330 0.15894 0.07107 0.26923 0.19288 0.61620
KNNW 1 0.14286 0.05330 0.14023 0.05041 0.21429 0.13220 0.56930
KNNW 3 0.14286 0.05330 0.17160 0.08505 0.22222 0.14096 0.56716
KNNW 28 0.14286 0.05330 0.15470 0.06638 0.25455 0.17666 0.60341
LOF 4 0.28571 0.21109 0.15603 0.06785 0.28571 0.21109 0.48188
LOF 5 0.28571 0.21109 0.21134 0.12894 0.36364 0.29715 0.49893
LOF 18 0.14286 0.05330 0.19116 0.10666 0.26415 0.18727 0.63113
SimplifiedLOF 2 0.00000 -0.10448 0.10188 0.00805 0.25000 0.17164 0.49893
SimplifiedLOF 4 0.14286 0.05330 0.13948 0.04958 0.22222 0.14096 0.52239
SimplifiedLOF 18 0.14286 0.05330 0.17539 0.08924 0.23333 0.15323 0.57996
SimplifiedLOF 34 0.14286 0.05330 0.17389 0.08758 0.23529 0.15540 0.58635
LoOP 4 0.14286 0.05330 0.14085 0.05109 0.22642 0.14559 0.54158
LoOP 9 0.14286 0.05330 0.17430 0.08804 0.26667 0.19005 0.47868
LoOP 18 0.14286 0.05330 0.17430 0.08803 0.24138 0.16212 0.58635
LDOF 4 0.00000 -0.10448 0.14148 0.05179 0.30769 0.23536 0.63753
LDOF 5 0.14286 0.05330 0.16299 0.07555 0.29268 0.21878 0.62900
LDOF 7 0.14286 0.05330 0.20492 0.12186 0.28571 0.21109 0.64606
ODIN 8 0.23810 0.15849 0.14245 0.05286 0.26667 0.19005 0.53838
ODIN 11 0.14286 0.05330 0.15436 0.06601 0.22222 0.14096 0.59915
ODIN 12 0.17143 0.08486 0.17904 0.09326 0.22951 0.14901 0.57889
FastABOD 3 0.14286 0.05330 0.12207 0.03035 0.21212 0.12981 0.53092
FastABOD 20 0.14286 0.05330 0.15037 0.06161 0.23333 0.15323 0.56930
FastABOD 57 0.14286 0.05330 0.15091 0.06220 0.22951 0.14901 0.56503
KDEOS 4 0.28571 0.21109 0.23404 0.15402 0.40000 0.33731 0.71002
KDEOS 72 0.14286 0.05330 0.24464 0.16573 0.25000 0.17164 0.57783
LDF 3 0.28571 0.21109 0.17127 0.08468 0.33333 0.26368 0.55650
LDF 10 0.14286 0.05330 0.22169 0.14037 0.37500 0.30970 0.62047
LDF 70 0.14286 0.05330 0.20748 0.12468 0.35714 0.28998 0.71215
INFLO 4 0.28571 0.21109 0.15925 0.07141 0.28571 0.21109 0.59595
INFLO 5 0.28571 0.21109 0.17336 0.08700 0.30769 0.23536 0.50213
COF 13 0.14286 0.05330 0.19436 0.11018 0.38095 0.31628 0.62580
COF 19 0.14286 0.05330 0.20379 0.12060 0.30000 0.22687 0.61620
COF 21 0.28571 0.21109 0.17655 0.09051 0.28571 0.21109 0.60128
COF 39 0.00000 -0.10448 0.14792 0.05890 0.28571 0.21109 0.66311

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO