Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Hepatitis (16% of outliers)

A data set for prediction whether a patient suffering from hepatitis will die (outliers) or survive (inliers).

Download all data set variants used (21.2 kB). You can also access the original data. (hepatitis.data)

Normalized, without duplicates

This version contains 19 attributes, 80 objects, 13 outliers (16.25%)

Download raw algorithm results (547.0 kB) Download raw algorithm evaluation table (37.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 21 0.30769 0.17336 0.33080 0.20095 0.48980 0.39080 0.78588
KNN 22 0.38462 0.26521 0.31999 0.18804 0.50000 0.40299 0.77842
KNN 33 0.30769 0.17336 0.31793 0.18558 0.52381 0.43141 0.77612
KNNW 13 0.30769 0.17336 0.24260 0.09564 0.43636 0.32700 0.69116
KNNW 61 0.23077 0.08152 0.28532 0.14665 0.50000 0.40299 0.74856
KNNW 77 0.23077 0.08152 0.29417 0.15721 0.46154 0.35706 0.74168
LOF 31 0.38462 0.26521 0.31297 0.17966 0.46154 0.35706 0.76693
LOF 45 0.30769 0.17336 0.34507 0.21800 0.50000 0.40299 0.80023
LOF 48 0.30769 0.17336 0.33899 0.21073 0.54054 0.45139 0.80367
SimplifiedLOF 60 0.30769 0.17336 0.27398 0.13311 0.44898 0.34207 0.72790
SimplifiedLOF 65 0.23077 0.08152 0.27753 0.13734 0.48000 0.37910 0.73364
SimplifiedLOF 76 0.23077 0.08152 0.29024 0.15252 0.46154 0.35706 0.73823
SimplifiedLOF 78 0.23077 0.08152 0.29129 0.15378 0.46154 0.35706 0.73823
LoOP 51 0.23077 0.08152 0.24994 0.10440 0.41935 0.30669 0.69231
LoOP 58 0.23077 0.08152 0.27335 0.13236 0.44000 0.33134 0.72331
LoOP 63 0.23077 0.08152 0.26400 0.12120 0.46154 0.35706 0.70666
LoOP 78 0.23077 0.08152 0.28569 0.14709 0.46154 0.35706 0.72273
LDOF 59 0.23077 0.08152 0.23649 0.08834 0.41935 0.30669 0.67394
LDOF 70 0.23077 0.08152 0.26875 0.12686 0.46154 0.35706 0.71642
LDOF 79 0.23077 0.08152 0.29129 0.15378 0.46154 0.35706 0.73823
ODIN 36 0.26154 0.11825 0.28265 0.14346 0.45833 0.35323 0.71584
ODIN 45 0.38462 0.26521 0.31011 0.17625 0.44444 0.33665 0.74340
ODIN 46 0.38462 0.26521 0.32884 0.19861 0.43137 0.32104 0.74455
ODIN 58 0.30769 0.17336 0.31282 0.17949 0.45714 0.35181 0.74971
FastABOD 4 0.23077 0.08152 0.28543 0.14678 0.36923 0.24684 0.59127
FastABOD 59 0.15385 -0.01033 0.25204 0.10692 0.43636 0.32700 0.70953
FastABOD 62 0.07692 -0.10218 0.25062 0.10522 0.44444 0.33665 0.70838
KDEOS 4 0.23077 0.08152 0.17014 0.00912 0.27957 0.13978 0.44891
KDEOS 78 0.15385 -0.01033 0.24664 0.10046 0.45833 0.35323 0.70608
KDEOS 79 0.15385 -0.01033 0.25144 0.10620 0.45833 0.35323 0.71183
LDF 18 0.38462 0.26521 0.35027 0.22420 0.56250 0.47761 0.78760
LDF 23 0.30769 0.17336 0.39489 0.27748 0.52632 0.43441 0.78416
LDF 46 0.30769 0.17336 0.36583 0.24278 0.54545 0.45726 0.82893
LDF 52 0.30769 0.17336 0.33853 0.21018 0.57895 0.49725 0.78875
INFLO 34 0.30769 0.17336 0.23407 0.08546 0.32432 0.19322 0.56487
INFLO 44 0.23077 0.08152 0.25209 0.10698 0.30303 0.16780 0.53157
INFLO 55 0.23077 0.08152 0.23062 0.08133 0.34483 0.21770 0.60276
COF 54 0.30769 0.17336 0.40276 0.28688 0.60606 0.52962 0.81745
COF 73 0.53846 0.44891 0.41610 0.30281 0.56000 0.47463 0.79564
COF 77 0.46154 0.35706 0.49679 0.39915 0.54545 0.45726 0.82204
COF 78 0.53846 0.44891 0.49190 0.39331 0.54545 0.45726 0.82721

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 19 attributes, 80 objects, 13 outliers (16.25%)

Download raw algorithm results (552.0 kB) Download raw algorithm evaluation table (34.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 6 0.23077 0.08152 0.22195 0.07099 0.33333 0.20398 0.57865
KNN 8 0.15385 -0.01033 0.22180 0.07081 0.36364 0.24016 0.58266
KNN 9 0.23077 0.08152 0.22850 0.07880 0.35821 0.23368 0.59414
KNN 11 0.15385 -0.01033 0.23119 0.08202 0.36364 0.24016 0.58783
KNNW 1 0.15385 -0.01033 0.19020 0.03308 0.31169 0.17814 0.46441
KNNW 12 0.15385 -0.01033 0.21748 0.06565 0.33803 0.20959 0.56142
KNNW 15 0.15385 -0.01033 0.21443 0.06200 0.35294 0.22739 0.56716
KNNW 29 0.15385 -0.01033 0.21643 0.06440 0.34286 0.21535 0.57635
LOF 18 0.23077 0.08152 0.27123 0.12983 0.33333 0.20398 0.58553
LOF 74 0.30769 0.17336 0.24026 0.09285 0.36111 0.23715 0.61883
SimplifiedLOF 16 0.23077 0.08152 0.20643 0.05245 0.32877 0.19853 0.50631
SimplifiedLOF 19 0.23077 0.08152 0.22839 0.07867 0.34286 0.21535 0.55339
SimplifiedLOF 28 0.23077 0.08152 0.24059 0.09324 0.33333 0.20398 0.56716
SimplifiedLOF 39 0.23077 0.08152 0.24219 0.09516 0.32877 0.19853 0.56487
LoOP 7 0.23077 0.08152 0.16996 0.00891 0.27957 0.13978 0.43628
LoOP 23 0.23077 0.08152 0.25236 0.10729 0.33333 0.20398 0.55855
LoOP 29 0.23077 0.08152 0.23144 0.08231 0.34043 0.21245 0.57577
LoOP 31 0.23077 0.08152 0.22811 0.07834 0.34783 0.22128 0.57176
LDOF 5 0.07692 -0.10218 0.18889 0.03151 0.35821 0.23368 0.57865
LDOF 6 0.23077 0.08152 0.18891 0.03153 0.32099 0.18924 0.54305
LDOF 18 0.15385 -0.01033 0.22728 0.07735 0.34211 0.21445 0.54191
ODIN 16 0.19231 0.03559 0.21443 0.06201 0.36364 0.24016 0.53272
ODIN 50 0.15385 -0.01033 0.23736 0.08939 0.30000 0.16418 0.52296
ODIN 78 0.25405 0.10931 0.21442 0.06200 0.27957 0.13978 0.55970
FastABOD 3 0.15385 -0.01033 0.19380 0.03737 0.30556 0.17081 0.51206
FastABOD 19 0.15385 -0.01033 0.20845 0.05486 0.30769 0.17336 0.50976
FastABOD 40 0.15385 -0.01033 0.21063 0.05747 0.30769 0.17336 0.51894
FastABOD 60 0.15385 -0.01033 0.21087 0.05775 0.30769 0.17336 0.51780
KDEOS 37 0.23077 0.08152 0.17413 0.01389 0.32000 0.18806 0.50172
KDEOS 53 0.23077 0.08152 0.20566 0.05154 0.34783 0.22128 0.54076
KDEOS 60 0.23077 0.08152 0.23536 0.08699 0.34783 0.22128 0.56602
KDEOS 70 0.23077 0.08152 0.29033 0.15263 0.32877 0.19853 0.56142
LDF 10 0.38462 0.26521 0.24887 0.10313 0.40000 0.28358 0.59013
LDF 11 0.38462 0.26521 0.31041 0.17661 0.41667 0.30348 0.64179
INFLO 6 0.23077 0.08152 0.19732 0.04157 0.30233 0.16696 0.48220
INFLO 21 0.23077 0.08152 0.23935 0.09176 0.29545 0.15875 0.47072
INFLO 50 0.15385 -0.01033 0.21297 0.06026 0.32258 0.19114 0.57577
INFLO 52 0.15385 -0.01033 0.21434 0.06190 0.32258 0.19114 0.58209
COF 15 0.23077 0.08152 0.21091 0.05780 0.31818 0.18589 0.53674
COF 20 0.23077 0.08152 0.26868 0.12678 0.35714 0.23241 0.56028
COF 49 0.15385 -0.01033 0.19395 0.03756 0.33898 0.21073 0.58094
COF 64 0.15385 -0.01033 0.18908 0.03174 0.36620 0.24322 0.55970

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO