Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Hepatitis (10% of outliers version#10)

A data set for prediction whether a patient suffering from hepatitis will die (outliers) or survive (inliers).

Download all data set variants used (21.2 kB). You can also access the original data. (hepatitis.data)

Normalized, without duplicates

This version contains 19 attributes, 74 objects, 7 outliers (9.46%)

Download raw algorithm results (468.5 kB) Download raw algorithm evaluation table (31.5 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.14286 0.05330 0.14687 0.05774 0.31111 0.23914 0.61834
KNN 2 0.14286 0.05330 0.25766 0.18010 0.30435 0.23167 0.64499
KNN 27 0.14286 0.05330 0.21256 0.13029 0.44444 0.38640 0.79318
KNNW 1 0.14286 0.05330 0.14116 0.05143 0.23077 0.15040 0.57676
KNNW 29 0.14286 0.05330 0.17781 0.09190 0.36842 0.30244 0.71642
KNNW 51 0.14286 0.05330 0.18951 0.10483 0.35897 0.29200 0.74200
LOF 15 0.28571 0.21109 0.17014 0.08344 0.30769 0.23536 0.63539
LOF 20 0.14286 0.05330 0.28586 0.21125 0.27451 0.19871 0.68870
LOF 47 0.14286 0.05330 0.22399 0.14291 0.41667 0.35572 0.79957
SimplifiedLOF 22 0.28571 0.21109 0.26339 0.18643 0.30769 0.23536 0.52878
SimplifiedLOF 33 0.14286 0.05330 0.27238 0.19636 0.25000 0.17164 0.64179
SimplifiedLOF 59 0.14286 0.05330 0.18763 0.10276 0.36842 0.30244 0.71215
SimplifiedLOF 69 0.14286 0.05330 0.19504 0.11094 0.35897 0.29200 0.73134
LoOP 20 0.28571 0.21109 0.27054 0.19433 0.33333 0.26368 0.52132
LoOP 25 0.28571 0.21109 0.36942 0.30353 0.44444 0.38640 0.59915
LoOP 66 0.14286 0.05330 0.19465 0.11051 0.34286 0.27420 0.72921
LDOF 29 0.28571 0.21109 0.25786 0.18032 0.28571 0.21109 0.53945
LDOF 31 0.28571 0.21109 0.29497 0.22132 0.36364 0.29715 0.58422
LDOF 33 0.28571 0.21109 0.25533 0.17753 0.40000 0.33731 0.61834
LDOF 72 0.14286 0.05330 0.19412 0.10992 0.35000 0.28209 0.72921
ODIN 22 0.21429 0.13220 0.28414 0.20935 0.26087 0.18365 0.69296
ODIN 50 0.14286 0.05330 0.21447 0.13240 0.35714 0.28998 0.76652
FastABOD 3 0.28571 0.21109 0.17352 0.08717 0.30769 0.23536 0.56290
FastABOD 4 0.28571 0.21109 0.37156 0.30590 0.44444 0.38640 0.61834
FastABOD 66 0.14286 0.05330 0.19457 0.11042 0.31111 0.23914 0.66738
KDEOS 7 0.28571 0.21109 0.15303 0.06454 0.28571 0.21109 0.48614
KDEOS 68 0.14286 0.05330 0.27364 0.19775 0.34146 0.27266 0.69083
KDEOS 72 0.14286 0.05330 0.18402 0.09877 0.36842 0.30244 0.69936
LDF 7 0.14286 0.05330 0.30358 0.23082 0.37037 0.30459 0.74414
LDF 46 0.00000 -0.10448 0.22734 0.14661 0.41379 0.35255 0.80810
LDF 50 0.00000 -0.10448 0.21860 0.13696 0.44444 0.38640 0.78038
LDF 68 0.28571 0.21109 0.22076 0.13935 0.33333 0.26368 0.69296
INFLO 17 0.28571 0.21109 0.25410 0.17617 0.28571 0.21109 0.42964
INFLO 23 0.28571 0.21109 0.31865 0.24746 0.36364 0.29715 0.66098
INFLO 24 0.28571 0.21109 0.23640 0.15662 0.40000 0.33731 0.51173
COF 8 0.28571 0.21109 0.12655 0.03530 0.28571 0.21109 0.37527
COF 12 0.28571 0.21109 0.30907 0.23688 0.40000 0.33731 0.52452
COF 33 0.28571 0.21109 0.26853 0.19211 0.47619 0.42146 0.77186
COF 55 0.14286 0.05330 0.27482 0.19906 0.42105 0.36057 0.82729

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 19 attributes, 74 objects, 7 outliers (9.46%)

Download raw algorithm results (471.5 kB) Download raw algorithm evaluation table (28.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.14286 0.05330 0.15851 0.07060 0.22222 0.14096 0.49574
KNN 14 0.14286 0.05330 0.15380 0.06539 0.24000 0.16060 0.58742
KNN 17 0.14286 0.05330 0.14944 0.06058 0.24490 0.16601 0.56930
KNNW 1 0.14286 0.05330 0.13868 0.04869 0.21212 0.12981 0.54158
KNNW 3 0.14286 0.05330 0.16340 0.07599 0.22581 0.14492 0.52239
KNNW 27 0.14286 0.05330 0.14885 0.05992 0.23077 0.15040 0.56290
KNNW 47 0.14286 0.05330 0.15050 0.06175 0.21818 0.13650 0.56716
LOF 3 0.14286 0.05330 0.12559 0.03424 0.25000 0.17164 0.57143
LOF 19 0.14286 0.05330 0.18042 0.09479 0.24000 0.16060 0.57356
LOF 69 0.14286 0.05330 0.17895 0.09317 0.28571 0.21109 0.64392
SimplifiedLOF 4 0.14286 0.05330 0.11588 0.02351 0.20000 0.11642 0.35608
SimplifiedLOF 13 0.14286 0.05330 0.12708 0.03588 0.22951 0.14901 0.45203
SimplifiedLOF 46 0.14286 0.05330 0.16975 0.08301 0.22222 0.14096 0.55437
LoOP 4 0.14286 0.05330 0.11875 0.02668 0.20000 0.11642 0.39232
LoOP 15 0.14286 0.05330 0.15571 0.06750 0.23333 0.15323 0.48614
LoOP 44 0.14286 0.05330 0.16863 0.08177 0.22222 0.14096 0.56290
LDOF 2 0.14286 0.05330 0.13693 0.04676 0.20588 0.12291 0.49680
LDOF 9 0.14286 0.05330 0.14430 0.05490 0.23333 0.15323 0.55864
LDOF 18 0.14286 0.05330 0.16086 0.07319 0.25000 0.17164 0.52239
LDOF 47 0.14286 0.05330 0.16216 0.07463 0.22222 0.14096 0.52665
ODIN 9 0.14286 0.05330 0.13535 0.04501 0.22951 0.14901 0.50320
ODIN 35 0.14286 0.05330 0.16743 0.08044 0.22222 0.14096 0.52345
ODIN 72 0.19115 0.10664 0.12870 0.03767 0.20000 0.11642 0.55437
FastABOD 3 0.14286 0.05330 0.10971 0.01669 0.18667 0.10169 0.43710
FastABOD 6 0.14286 0.05330 0.13700 0.04684 0.20896 0.12631 0.49254
FastABOD 15 0.14286 0.05330 0.14161 0.05193 0.20896 0.12631 0.51173
FastABOD 57 0.14286 0.05330 0.14293 0.05338 0.20896 0.12631 0.51173
KDEOS 2 0.28571 0.21109 0.30200 0.22907 0.40000 0.33731 0.54264
KDEOS 69 0.14286 0.05330 0.23930 0.15982 0.25000 0.17164 0.54797
LDF 2 0.14286 0.05330 0.17669 0.09068 0.23333 0.15323 0.57249
LDF 9 0.14286 0.05330 0.14473 0.05537 0.33333 0.26368 0.50320
LDF 10 0.14286 0.05330 0.20325 0.12001 0.33333 0.26368 0.55011
LDF 69 0.14286 0.05330 0.19670 0.11277 0.31579 0.24430 0.70576
INFLO 10 0.14286 0.05330 0.15714 0.06908 0.22222 0.14096 0.36461
INFLO 14 0.14286 0.05330 0.15966 0.07187 0.22222 0.14096 0.37100
INFLO 48 0.14286 0.05330 0.14051 0.05072 0.20690 0.12403 0.55437
INFLO 69 0.16770 0.08075 0.12870 0.03767 0.20000 0.11642 0.54158
COF 18 0.28571 0.21109 0.19608 0.11209 0.28571 0.21109 0.58209
COF 19 0.28571 0.21109 0.20238 0.11905 0.30769 0.23536 0.57143
COF 20 0.28571 0.21109 0.20753 0.12474 0.30769 0.23536 0.59915
COF 40 0.14286 0.05330 0.14479 0.05544 0.27907 0.20375 0.64606

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO