Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Hepatitis (10% of outliers version#09)

A data set for prediction whether a patient suffering from hepatitis will die (outliers) or survive (inliers).

Download all data set variants used (21.2 kB). You can also access the original data. (hepatitis.data)

Normalized, without duplicates

This version contains 19 attributes, 74 objects, 7 outliers (9.46%)

Download raw algorithm results (469.1 kB) Download raw algorithm evaluation table (31.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 8 0.28571 0.21109 0.21333 0.13114 0.33333 0.26368 0.74200
KNN 13 0.28571 0.21109 0.25068 0.17240 0.40000 0.33731 0.79104
KNN 21 0.28571 0.21109 0.24188 0.16267 0.43478 0.37573 0.79531
KNN 28 0.14286 0.05330 0.22392 0.14284 0.44444 0.38640 0.76972
KNNW 17 0.14286 0.05330 0.18920 0.10449 0.32258 0.25181 0.74200
KNNW 28 0.14286 0.05330 0.20215 0.11879 0.35714 0.28998 0.76333
KNNW 37 0.14286 0.05330 0.21042 0.12793 0.35714 0.28998 0.77399
LOF 18 0.28571 0.21109 0.17395 0.08764 0.30000 0.22687 0.68870
LOF 26 0.28571 0.21109 0.27149 0.19538 0.40000 0.33731 0.78465
LOF 45 0.28571 0.21109 0.24137 0.16211 0.41667 0.35572 0.80810
LOF 47 0.28571 0.21109 0.24310 0.16402 0.43478 0.37573 0.80810
SimplifiedLOF 1 0.14286 0.05330 0.10105 0.00714 0.17284 0.08642 0.43923
SimplifiedLOF 49 0.14286 0.05330 0.19803 0.11424 0.33333 0.26368 0.73134
SimplifiedLOF 56 0.14286 0.05330 0.20659 0.12369 0.33333 0.26368 0.74627
SimplifiedLOF 71 0.14286 0.05330 0.20273 0.11943 0.33333 0.26368 0.75480
LoOP 1 0.14286 0.05330 0.10105 0.00714 0.17284 0.08642 0.43923
LoOP 38 0.14286 0.05330 0.27607 0.20044 0.28571 0.21109 0.69083
LoOP 53 0.14286 0.05330 0.21108 0.12866 0.33333 0.26368 0.75693
LoOP 69 0.14286 0.05330 0.19856 0.11482 0.35294 0.28534 0.73028
LDOF 2 0.14286 0.05330 0.10411 0.01051 0.19178 0.10734 0.35608
LDOF 42 0.14286 0.05330 0.26073 0.18350 0.26316 0.18617 0.64606
LDOF 65 0.14286 0.05330 0.20615 0.12321 0.34286 0.27420 0.74840
LDOF 73 0.14286 0.05330 0.20341 0.12019 0.32432 0.25373 0.75480
ODIN 16 0.28571 0.21109 0.18233 0.09690 0.28571 0.21109 0.66844
ODIN 42 0.28571 0.21109 0.26172 0.18458 0.37500 0.30970 0.77719
ODIN 55 0.19048 0.10590 0.22589 0.14501 0.38095 0.31628 0.75160
FastABOD 3 0.28571 0.21109 0.20489 0.12182 0.40000 0.33731 0.63113
FastABOD 44 0.14286 0.05330 0.19159 0.10713 0.35714 0.28998 0.75053
KDEOS 2 0.14286 0.05330 0.23325 0.15314 0.25000 0.17164 0.50107
KDEOS 63 0.14286 0.05330 0.15555 0.06733 0.32558 0.25512 0.68443
KDEOS 73 0.14286 0.05330 0.17879 0.09299 0.31111 0.23914 0.72921
LDF 14 0.42857 0.36887 0.40828 0.34645 0.50000 0.44776 0.72068
LDF 42 0.14286 0.05330 0.25283 0.17477 0.42105 0.36057 0.82729
INFLO 43 0.28571 0.21109 0.16334 0.07593 0.30769 0.23536 0.57996
INFLO 44 0.28571 0.21109 0.17146 0.08490 0.33333 0.26368 0.58422
INFLO 54 0.28571 0.21109 0.17709 0.09111 0.33333 0.26368 0.63966
COF 25 0.28571 0.21109 0.30004 0.22691 0.50000 0.44776 0.81876
COF 66 0.57143 0.52665 0.33056 0.26061 0.57143 0.52665 0.78252
COF 68 0.42857 0.36887 0.34098 0.27212 0.50000 0.44776 0.78678

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 19 attributes, 74 objects, 7 outliers (9.46%)

Download raw algorithm results (471.5 kB) Download raw algorithm evaluation table (29.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 10 0.14286 0.05330 0.16204 0.07449 0.25926 0.18187 0.65245
KNN 20 0.14286 0.05330 0.14898 0.06006 0.27027 0.19403 0.65885
KNN 70 0.28571 0.21109 0.16079 0.07311 0.28571 0.21109 0.48188
KNNW 1 0.14286 0.05330 0.13188 0.04118 0.20000 0.11642 0.50107
KNNW 15 0.14286 0.05330 0.15925 0.07141 0.28000 0.20478 0.65245
KNNW 25 0.14286 0.05330 0.15288 0.06438 0.26923 0.19288 0.65672
LOF 13 0.28571 0.21109 0.18156 0.09605 0.33333 0.26368 0.61620
LOF 18 0.14286 0.05330 0.21604 0.13414 0.30769 0.23536 0.65672
LOF 32 0.14286 0.05330 0.16714 0.08012 0.25926 0.18187 0.67164
SimplifiedLOF 4 0.14286 0.05330 0.11902 0.02697 0.21429 0.13220 0.47122
SimplifiedLOF 17 0.14286 0.05330 0.18761 0.10274 0.28571 0.21109 0.64179
SimplifiedLOF 20 0.14286 0.05330 0.20266 0.11935 0.25532 0.17752 0.65672
LoOP 5 0.14286 0.05330 0.11417 0.02162 0.18519 0.10006 0.45416
LoOP 17 0.14286 0.05330 0.19323 0.10894 0.28571 0.21109 0.64606
LoOP 21 0.14286 0.05330 0.19945 0.11581 0.27451 0.19871 0.64819
LoOP 36 0.14286 0.05330 0.19763 0.11380 0.27907 0.20375 0.65245
LDOF 4 0.14286 0.05330 0.11919 0.02716 0.25000 0.17164 0.51812
LDOF 10 0.14286 0.05330 0.17241 0.08594 0.25000 0.17164 0.64606
LDOF 35 0.14286 0.05330 0.18826 0.10345 0.25455 0.17666 0.62687
LDOF 39 0.14286 0.05330 0.18481 0.09964 0.29167 0.21766 0.62260
ODIN 6 0.28571 0.21109 0.15972 0.07193 0.28571 0.21109 0.54371
ODIN 10 0.14286 0.05330 0.15610 0.06793 0.25000 0.17164 0.64606
ODIN 25 0.14286 0.05330 0.18241 0.09699 0.23529 0.15540 0.58635
FastABOD 3 0.14286 0.05330 0.12684 0.03562 0.22222 0.14096 0.52665
FastABOD 18 0.14286 0.05330 0.15420 0.06583 0.25806 0.18055 0.56503
FastABOD 30 0.14286 0.05330 0.15504 0.06676 0.25806 0.18055 0.57143
FastABOD 51 0.14286 0.05330 0.15597 0.06779 0.25806 0.18055 0.56930
KDEOS 47 0.28571 0.21109 0.17921 0.09346 0.28571 0.21109 0.62687
KDEOS 51 0.28571 0.21109 0.19859 0.11486 0.33333 0.26368 0.64392
KDEOS 58 0.28571 0.21109 0.22726 0.14652 0.33333 0.26368 0.66098
KDEOS 60 0.14286 0.05330 0.27726 0.20175 0.26667 0.19005 0.65672
LDF 8 0.28571 0.21109 0.23824 0.15866 0.38095 0.31628 0.66525
LDF 9 0.28571 0.21109 0.22148 0.14014 0.40000 0.33731 0.66525
LDF 11 0.14286 0.05330 0.22352 0.14239 0.34783 0.27969 0.67804
INFLO 2 0.14286 0.05330 0.10762 0.01439 0.20896 0.12631 0.47548
INFLO 13 0.14286 0.05330 0.14740 0.05833 0.27273 0.19674 0.51386
INFLO 17 0.14286 0.05330 0.17246 0.08600 0.23529 0.15540 0.45842
INFLO 48 0.14286 0.05330 0.14648 0.05731 0.26667 0.19005 0.62047
COF 17 0.28571 0.21109 0.21133 0.12893 0.30000 0.22687 0.58635
COF 18 0.28571 0.21109 0.22680 0.14602 0.37500 0.30970 0.60235
COF 19 0.28571 0.21109 0.22802 0.14737 0.35294 0.28534 0.62900
COF 23 0.14286 0.05330 0.17160 0.08505 0.31579 0.24430 0.67804

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO