Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

HeartDisease (5% of outliers version#05)

A data set containing medical data on heart problems. Affected patients are considered outliers and healthy people are considered inliers.

Download all data set variants used (92.9 kB). You can also access the original data. (heart.dat)

Normalized, without duplicates

This version contains 13 attributes, 157 objects, 7 outliers (4.46%)

Download raw algorithm results (1.3 MB) Download raw algorithm evaluation table (39.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 18 0.42857 0.40190 0.29812 0.26536 0.46154 0.43641 0.79143
KNN 26 0.42857 0.40190 0.41184 0.38439 0.44444 0.41852 0.81333
KNN 44 0.42857 0.40190 0.31163 0.27950 0.46154 0.43641 0.81619
KNNW 44 0.42857 0.40190 0.29135 0.25828 0.42857 0.40190 0.79905
KNNW 55 0.42857 0.40190 0.29345 0.26048 0.42857 0.40190 0.80476
LOF 52 0.28571 0.25238 0.25152 0.21659 0.37500 0.34583 0.79524
LOF 59 0.42857 0.40190 0.28603 0.25271 0.42857 0.40190 0.79333
LOF 70 0.42857 0.40190 0.27248 0.23853 0.46154 0.43641 0.79048
LOF 98 0.42857 0.40190 0.29757 0.26479 0.46154 0.43641 0.78667
SimplifiedLOF 95 0.42857 0.40190 0.26054 0.22604 0.42857 0.40190 0.79238
LoOP 55 0.00000 -0.04667 0.13745 0.09720 0.27273 0.23879 0.79429
LoOP 94 0.28571 0.25238 0.27145 0.23745 0.40000 0.37200 0.76143
LoOP 100 0.42857 0.40190 0.25486 0.22008 0.42857 0.40190 0.76095
LDOF 78 0.28571 0.25238 0.13915 0.09897 0.28571 0.25238 0.76095
LDOF 94 0.28571 0.25238 0.21156 0.17477 0.36364 0.33394 0.77905
LDOF 99 0.28571 0.25238 0.21593 0.17934 0.36364 0.33394 0.78286
ODIN 38 0.28571 0.25238 0.18039 0.14214 0.30769 0.27538 0.78905
ODIN 74 0.42857 0.40190 0.28113 0.24758 0.42857 0.40190 0.78048
ODIN 79 0.42857 0.40190 0.30564 0.27324 0.42857 0.40190 0.78048
FastABOD 3 0.28571 0.25238 0.24908 0.21404 0.40000 0.37200 0.76857
FastABOD 12 0.28571 0.25238 0.38595 0.35729 0.44444 0.41852 0.80476
FastABOD 86 0.28571 0.25238 0.41082 0.38333 0.44444 0.41852 0.82476
KDEOS 5 0.14286 0.10286 0.09565 0.05345 0.22222 0.18593 0.60857
KDEOS 99 0.00000 -0.04667 0.08661 0.04398 0.21053 0.17368 0.72286
LDF 19 0.42857 0.40190 0.20765 0.17067 0.46154 0.43641 0.70286
LDF 33 0.42857 0.40190 0.38618 0.35753 0.50000 0.47667 0.76286
LDF 68 0.42857 0.40190 0.42613 0.39935 0.44444 0.41852 0.80762
LDF 75 0.42857 0.40190 0.44234 0.41631 0.50000 0.47667 0.80000
INFLO 67 0.42857 0.40190 0.21664 0.18008 0.42857 0.40190 0.81810
INFLO 92 0.42857 0.40190 0.29020 0.25707 0.46154 0.43641 0.85333
INFLO 100 0.42857 0.40190 0.30657 0.27421 0.46154 0.43641 0.76381
COF 33 0.42857 0.40190 0.27671 0.24296 0.46154 0.43641 0.78190
COF 47 0.42857 0.40190 0.41218 0.38475 0.50000 0.47667 0.82476
COF 80 0.42857 0.40190 0.48961 0.46579 0.60000 0.58133 0.79143

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 13 attributes, 157 objects, 7 outliers (4.46%)

Download raw algorithm results (1.3 MB) Download raw algorithm evaluation table (41.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.00000 -0.04667 0.11305 0.07166 0.23729 0.20169 0.79333
KNNW 1 0.14286 0.10286 0.09247 0.05012 0.16949 0.13073 0.70381
KNNW 2 0.00000 -0.04667 0.10032 0.05834 0.18519 0.14716 0.75905
KNNW 9 0.00000 -0.04667 0.09204 0.04967 0.21538 0.17877 0.75143
LOF 1 0.14286 0.10286 0.11761 0.07643 0.22222 0.18593 0.46714
LOF 4 0.14286 0.10286 0.13153 0.09100 0.22222 0.18593 0.61429
LOF 36 0.00000 -0.04667 0.08380 0.04105 0.20896 0.17204 0.72952
SimplifiedLOF 1 0.14286 0.10286 0.10406 0.06225 0.20000 0.16267 0.54381
SimplifiedLOF 4 0.14286 0.10286 0.14172 0.10167 0.23529 0.19961 0.58571
SimplifiedLOF 54 0.00000 -0.04667 0.07898 0.03600 0.19178 0.15406 0.70857
LoOP 1 0.14286 0.10286 0.12754 0.08682 0.22222 0.18593 0.54095
LoOP 4 0.14286 0.10286 0.13642 0.09612 0.22222 0.18593 0.59810
LoOP 54 0.00000 -0.04667 0.07706 0.03399 0.19178 0.15406 0.69905
LDOF 4 0.14286 0.10286 0.12176 0.08077 0.20000 0.16267 0.66952
LDOF 6 0.14286 0.10286 0.13374 0.09331 0.22222 0.18593 0.59524
LDOF 7 0.14286 0.10286 0.10672 0.06503 0.25000 0.21500 0.55619
LDOF 66 0.00000 -0.04667 0.07741 0.03435 0.18182 0.14364 0.70381
ODIN 4 0.15873 0.11947 0.07541 0.03226 0.16667 0.12778 0.55619
ODIN 10 0.14286 0.10286 0.10152 0.05959 0.22222 0.18593 0.59333
ODIN 12 0.14286 0.10286 0.10245 0.06056 0.18182 0.14364 0.63095
ODIN 47 0.00000 -0.04667 0.08325 0.04047 0.18421 0.14614 0.72524
FastABOD 5 0.14286 0.10286 0.12051 0.07947 0.24561 0.21041 0.80000
FastABOD 7 0.14286 0.10286 0.12796 0.08727 0.25000 0.21500 0.80095
FastABOD 13 0.00000 -0.04667 0.12329 0.08238 0.24000 0.20453 0.80286
FastABOD 81 0.00000 -0.04667 0.10617 0.06446 0.25641 0.22171 0.77905
KDEOS 11 0.14286 0.10286 0.21509 0.17846 0.26667 0.23244 0.55333
KDEOS 14 0.28571 0.25238 0.13370 0.09328 0.30769 0.27538 0.57333
KDEOS 21 0.28571 0.25238 0.20328 0.16610 0.40000 0.37200 0.56667
KDEOS 92 0.00000 -0.04667 0.09719 0.05505 0.18421 0.14614 0.73905
LDF 1 0.14286 0.10286 0.10747 0.06582 0.22222 0.18593 0.43000
LDF 2 0.14286 0.10286 0.12250 0.08155 0.22222 0.18593 0.60286
LDF 22 0.00000 -0.04667 0.09974 0.05773 0.25000 0.21500 0.77619
LDF 23 0.00000 -0.04667 0.10132 0.05938 0.25000 0.21500 0.77905
INFLO 1 0.14286 0.10286 0.14265 0.10264 0.22222 0.18593 0.65905
INFLO 4 0.14286 0.10286 0.14564 0.10577 0.25000 0.21500 0.57714
INFLO 97 0.00000 -0.04667 0.09271 0.05037 0.23333 0.19756 0.75619
COF 1 0.14286 0.10286 0.09099 0.04857 0.18182 0.14364 0.54286
COF 3 0.14286 0.10286 0.13156 0.09103 0.22222 0.18593 0.62714
COF 44 0.00000 -0.04667 0.10182 0.05991 0.26087 0.22638 0.77714
COF 99 0.00000 -0.04667 0.09703 0.05489 0.27273 0.23879 0.74762

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO