Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Hepatitis (10% of outliers version#04)

A data set for prediction whether a patient suffering from hepatitis will die (outliers) or survive (inliers).

Download all data set variants used (21.2 kB). You can also access the original data. (hepatitis.data)

Normalized, without duplicates

This version contains 19 attributes, 74 objects, 7 outliers (9.46%)

Download raw algorithm results (468.9 kB) Download raw algorithm evaluation table (31.5 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 15 0.28571 0.21109 0.18441 0.09920 0.30303 0.23021 0.71642
KNN 20 0.28571 0.21109 0.21505 0.13305 0.34783 0.27969 0.75480
KNN 29 0.14286 0.05330 0.19699 0.11309 0.38462 0.32032 0.73561
KNNW 1 0.00000 -0.10448 0.15112 0.06243 0.35294 0.28534 0.66098
KNNW 22 0.14286 0.05330 0.16115 0.07351 0.29787 0.22452 0.69510
KNNW 47 0.14286 0.05330 0.17564 0.08952 0.33333 0.26368 0.71855
LOF 24 0.28571 0.21109 0.19251 0.10814 0.29412 0.22037 0.70789
LOF 47 0.14286 0.05330 0.20880 0.12614 0.35000 0.28209 0.77186
LOF 73 0.00000 -0.10448 0.16938 0.08260 0.35294 0.28534 0.68230
SimplifiedLOF 45 0.14286 0.05330 0.15542 0.06718 0.28571 0.21109 0.66311
SimplifiedLOF 54 0.14286 0.05330 0.16737 0.08037 0.32432 0.25373 0.69723
SimplifiedLOF 62 0.14286 0.05330 0.16639 0.07930 0.32432 0.25373 0.69936
SimplifiedLOF 72 0.14286 0.05330 0.17021 0.08352 0.30769 0.23536 0.69936
LoOP 44 0.28571 0.21109 0.16830 0.08140 0.29167 0.21766 0.67164
LoOP 52 0.14286 0.05330 0.17094 0.08433 0.30769 0.23536 0.69936
LoOP 53 0.14286 0.05330 0.17103 0.08442 0.31579 0.24430 0.69936
LoOP 56 0.14286 0.05330 0.16680 0.07975 0.32432 0.25373 0.69936
LDOF 3 0.28571 0.21109 0.14319 0.05367 0.28571 0.21109 0.54371
LDOF 62 0.14286 0.05330 0.16910 0.08228 0.31579 0.24430 0.69723
LDOF 64 0.14286 0.05330 0.17491 0.08871 0.30000 0.22687 0.69510
ODIN 34 0.28571 0.21109 0.17459 0.08835 0.28571 0.21109 0.67164
ODIN 35 0.28571 0.21109 0.18528 0.10016 0.30769 0.23536 0.67484
ODIN 44 0.14286 0.05330 0.19521 0.11113 0.27586 0.20021 0.69723
ODIN 48 0.14286 0.05330 0.17003 0.08331 0.28571 0.21109 0.71002
FastABOD 3 0.14286 0.05330 0.15136 0.06270 0.28571 0.21109 0.60768
FastABOD 4 0.14286 0.05330 0.18004 0.09437 0.28571 0.21109 0.62473
FastABOD 20 0.00000 -0.10448 0.14945 0.06058 0.32432 0.25373 0.68443
FastABOD 38 0.00000 -0.10448 0.15682 0.06872 0.30000 0.22687 0.69723
KDEOS 4 0.14286 0.05330 0.11993 0.02799 0.21818 0.13650 0.52026
KDEOS 54 0.00000 -0.10448 0.11876 0.02669 0.31111 0.23914 0.58849
KDEOS 65 0.14286 0.05330 0.15081 0.06209 0.29787 0.22452 0.67164
KDEOS 73 0.00000 -0.10448 0.14972 0.06089 0.28571 0.21109 0.67591
LDF 20 0.14286 0.05330 0.24249 0.16335 0.43478 0.37573 0.80810
LDF 21 0.14286 0.05330 0.24878 0.17029 0.45455 0.39756 0.79318
LDF 22 0.14286 0.05330 0.26465 0.18783 0.38462 0.32032 0.79104
LDF 65 0.28571 0.21109 0.16413 0.07680 0.28571 0.21109 0.63753
INFLO 45 0.14286 0.05330 0.15183 0.06321 0.26667 0.19005 0.52452
INFLO 49 0.28571 0.21109 0.13883 0.04886 0.28571 0.21109 0.54904
INFLO 52 0.28571 0.21109 0.13883 0.04886 0.28571 0.21109 0.56503
COF 30 0.28571 0.21109 0.25171 0.17353 0.40000 0.33731 0.79957
COF 42 0.14286 0.05330 0.24419 0.16523 0.47619 0.42146 0.79957
COF 46 0.14286 0.05330 0.27063 0.19443 0.47059 0.41528 0.81237

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 19 attributes, 74 objects, 7 outliers (9.46%)

Download raw algorithm results (472.1 kB) Download raw algorithm evaluation table (28.5 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.28571 0.21109 0.19819 0.11441 0.33333 0.26368 0.50426
KNN 21 0.14286 0.05330 0.18392 0.09866 0.26667 0.19005 0.65245
KNNW 1 0.28571 0.21109 0.17557 0.08943 0.33333 0.26368 0.49893
KNNW 2 0.28571 0.21109 0.18925 0.10454 0.36364 0.29715 0.51173
KNNW 30 0.14286 0.05330 0.17764 0.09173 0.26667 0.19005 0.62900
LOF 11 0.42857 0.36887 0.22757 0.14687 0.46154 0.40528 0.60768
LOF 19 0.28571 0.21109 0.23146 0.15116 0.33333 0.26368 0.65672
LOF 55 0.14286 0.05330 0.19255 0.10819 0.28571 0.21109 0.68870
SimplifiedLOF 8 0.28571 0.21109 0.15091 0.06219 0.28571 0.21109 0.52878
SimplifiedLOF 23 0.28571 0.21109 0.19256 0.10820 0.37500 0.30970 0.58849
SimplifiedLOF 35 0.28571 0.21109 0.23683 0.15710 0.33333 0.26368 0.63753
LoOP 11 0.28571 0.21109 0.17444 0.08819 0.28571 0.21109 0.56077
LoOP 20 0.28571 0.21109 0.23819 0.15860 0.37500 0.30970 0.59701
LoOP 24 0.28571 0.21109 0.20045 0.11691 0.40000 0.33731 0.60341
LoOP 32 0.28571 0.21109 0.21528 0.13329 0.33333 0.26368 0.64606
LDOF 7 0.28571 0.21109 0.23159 0.15131 0.36364 0.29715 0.69083
LDOF 9 0.28571 0.21109 0.20253 0.11921 0.30769 0.23536 0.71855
LDOF 17 0.28571 0.21109 0.23623 0.15644 0.36364 0.29715 0.64392
ODIN 12 0.28571 0.21109 0.18948 0.10479 0.30769 0.23536 0.69296
ODIN 23 0.28571 0.21109 0.22484 0.14386 0.35294 0.28534 0.61087
ODIN 72 0.31633 0.24490 0.21042 0.12793 0.36364 0.29715 0.62367
FastABOD 3 0.28571 0.21109 0.15670 0.06860 0.30769 0.23536 0.51173
FastABOD 4 0.28571 0.21109 0.17831 0.09246 0.33333 0.26368 0.50320
FastABOD 32 0.28571 0.21109 0.18417 0.09894 0.33333 0.26368 0.54797
KDEOS 16 0.28571 0.21109 0.13904 0.04909 0.28571 0.21109 0.49680
KDEOS 57 0.28571 0.21109 0.23240 0.15220 0.40000 0.33731 0.62473
KDEOS 63 0.28571 0.21109 0.31381 0.24212 0.37500 0.30970 0.62687
KDEOS 65 0.28571 0.21109 0.26859 0.19217 0.40000 0.33731 0.62260
KDEOS 66 0.28571 0.21109 0.34002 0.27106 0.40000 0.33731 0.62473
LDF 10 0.28571 0.21109 0.25257 0.17448 0.40000 0.33731 0.57569
LDF 12 0.28571 0.21109 0.25763 0.18006 0.40000 0.33731 0.62473
LDF 57 0.14286 0.05330 0.22604 0.14518 0.37838 0.31343 0.77399
INFLO 8 0.28571 0.21109 0.16090 0.07323 0.28571 0.21109 0.45736
INFLO 18 0.28571 0.21109 0.26197 0.18486 0.40000 0.33731 0.55650
INFLO 49 0.28571 0.21109 0.17682 0.09081 0.30769 0.23536 0.59275
COF 16 0.42857 0.36887 0.30442 0.23174 0.50000 0.44776 0.52452
COF 19 0.42857 0.36887 0.33394 0.26435 0.54545 0.49796 0.60021
COF 40 0.14286 0.05330 0.16227 0.07475 0.29787 0.22452 0.68443

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO