Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

HeartDisease (5% of outliers version#04)

A data set containing medical data on heart problems. Affected patients are considered outliers and healthy people are considered inliers.

Download all data set variants used (92.9 kB). You can also access the original data. (heart.dat)

Normalized, without duplicates

This version contains 13 attributes, 157 objects, 7 outliers (4.46%)

Download raw algorithm results (1.3 MB) Download raw algorithm evaluation table (40.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 50 0.42857 0.40190 0.40692 0.37924 0.44444 0.41852 0.83143
KNN 53 0.42857 0.40190 0.42114 0.39412 0.53333 0.51156 0.82667
KNN 54 0.42857 0.40190 0.43058 0.40401 0.53333 0.51156 0.82952
KNN 89 0.28571 0.25238 0.35750 0.32752 0.44444 0.41852 0.84476
KNNW 24 0.28571 0.25238 0.27285 0.23892 0.28571 0.25238 0.78476
KNNW 71 0.28571 0.25238 0.32190 0.29025 0.38095 0.35206 0.80857
KNNW 75 0.28571 0.25238 0.32255 0.29094 0.38095 0.35206 0.80857
KNNW 94 0.28571 0.25238 0.31788 0.28605 0.36364 0.33394 0.80952
LOF 41 0.28571 0.25238 0.16533 0.12637 0.28571 0.25238 0.78381
LOF 60 0.28571 0.25238 0.27345 0.23955 0.36364 0.33394 0.81905
LOF 85 0.28571 0.25238 0.36597 0.33638 0.42105 0.39404 0.80952
LOF 96 0.28571 0.25238 0.34921 0.31884 0.44444 0.41852 0.81048
SimplifiedLOF 94 0.28571 0.25238 0.20295 0.16576 0.28571 0.25238 0.80000
SimplifiedLOF 97 0.28571 0.25238 0.20705 0.17005 0.30769 0.27538 0.79905
SimplifiedLOF 100 0.28571 0.25238 0.21208 0.17532 0.30769 0.27538 0.80381
LoOP 82 0.28571 0.25238 0.17794 0.13957 0.28571 0.25238 0.78048
LoOP 93 0.28571 0.25238 0.20663 0.16961 0.28571 0.25238 0.78619
LoOP 96 0.28571 0.25238 0.21240 0.17564 0.30769 0.27538 0.78571
LDOF 3 0.28571 0.25238 0.11475 0.07344 0.28571 0.25238 0.58857
LDOF 4 0.28571 0.25238 0.16118 0.12204 0.31579 0.28386 0.61429
LDOF 23 0.14286 0.10286 0.18446 0.14640 0.25000 0.21500 0.48190
LDOF 95 0.14286 0.10286 0.17909 0.14078 0.23256 0.19674 0.78762
ODIN 5 0.28571 0.25238 0.11754 0.07636 0.28571 0.25238 0.52333
ODIN 91 0.28571 0.25238 0.26279 0.22839 0.40000 0.37200 0.82952
ODIN 97 0.28571 0.25238 0.34573 0.31520 0.36364 0.33394 0.81619
FastABOD 39 0.28571 0.25238 0.27639 0.24262 0.30769 0.27538 0.79524
FastABOD 61 0.28571 0.25238 0.30365 0.27116 0.36364 0.33394 0.79905
FastABOD 94 0.28571 0.25238 0.31673 0.28484 0.36364 0.33394 0.80952
KDEOS 3 0.14286 0.10286 0.07949 0.03654 0.15385 0.11436 0.53048
KDEOS 8 0.14286 0.10286 0.08842 0.04588 0.25000 0.21500 0.47619
KDEOS 36 0.14286 0.10286 0.20463 0.16752 0.25000 0.21500 0.54571
KDEOS 95 0.00000 -0.04667 0.07993 0.03700 0.16901 0.13023 0.67714
LDF 22 0.28571 0.25238 0.32351 0.29194 0.37037 0.34099 0.85429
LDF 55 0.57143 0.55143 0.50269 0.47948 0.57143 0.55143 0.81143
LDF 68 0.57143 0.55143 0.52235 0.50006 0.61538 0.59744 0.81524
LDF 69 0.57143 0.55143 0.52637 0.50427 0.61538 0.59744 0.81714
INFLO 1 0.28571 0.25238 0.11955 0.07846 0.28571 0.25238 0.57619
INFLO 55 0.14286 0.10286 0.17771 0.13933 0.28571 0.25238 0.84857
INFLO 88 0.28571 0.25238 0.30703 0.27469 0.37037 0.34099 0.77810
COF 57 0.57143 0.55143 0.46846 0.44365 0.57143 0.55143 0.81714
COF 58 0.57143 0.55143 0.48269 0.45855 0.58824 0.56902 0.79810
COF 64 0.42857 0.40190 0.47011 0.44538 0.54545 0.52424 0.82000
COF 68 0.42857 0.40190 0.49837 0.47496 0.54545 0.52424 0.79429

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 13 attributes, 157 objects, 7 outliers (4.46%)

Download raw algorithm results (1.3 MB) Download raw algorithm evaluation table (38.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.14286 0.10286 0.13489 0.09452 0.24242 0.20707 0.70190
KNN 2 0.14286 0.10286 0.16068 0.12152 0.27586 0.24207 0.82095
KNNW 1 0.14286 0.10286 0.16102 0.12187 0.26087 0.22638 0.78905
KNNW 2 0.14286 0.10286 0.16849 0.12969 0.26667 0.23244 0.75048
KNNW 3 0.14286 0.10286 0.14261 0.10259 0.29630 0.26346 0.77905
KNNW 17 0.14286 0.10286 0.14257 0.10256 0.27273 0.23879 0.79143
LOF 1 0.14286 0.10286 0.10907 0.06749 0.20000 0.16267 0.66524
LOF 9 0.00000 -0.04667 0.11740 0.07622 0.27586 0.24207 0.75905
LOF 10 0.00000 -0.04667 0.11341 0.07203 0.26667 0.23244 0.77143
LOF 46 0.14286 0.10286 0.13136 0.09082 0.26087 0.22638 0.74476
SimplifiedLOF 3 0.14286 0.10286 0.12379 0.08290 0.22222 0.18593 0.61333
SimplifiedLOF 19 0.00000 -0.04667 0.11423 0.07289 0.27586 0.24207 0.73143
SimplifiedLOF 46 0.14286 0.10286 0.12276 0.08182 0.20000 0.16267 0.75905
SimplifiedLOF 69 0.14286 0.10286 0.12803 0.08734 0.25000 0.21500 0.75905
LoOP 3 0.14286 0.10286 0.12634 0.08557 0.22222 0.18593 0.63048
LoOP 20 0.14286 0.10286 0.11713 0.07593 0.25806 0.22344 0.72857
LoOP 42 0.14286 0.10286 0.11770 0.07652 0.19355 0.15591 0.74667
LDOF 8 0.14286 0.10286 0.09062 0.04818 0.16129 0.12215 0.67524
LDOF 63 0.14286 0.10286 0.10584 0.06412 0.22222 0.18593 0.73143
LDOF 69 0.14286 0.10286 0.10844 0.06683 0.22857 0.19257 0.73143
LDOF 72 0.00000 -0.04667 0.10588 0.06415 0.24242 0.20707 0.72857
ODIN 4 0.14286 0.10286 0.08464 0.04192 0.15385 0.11436 0.69000
ODIN 12 0.14286 0.10286 0.11978 0.07870 0.21739 0.18087 0.76381
ODIN 17 0.14286 0.10286 0.13482 0.09444 0.21053 0.17368 0.73762
FastABOD 3 0.14286 0.10286 0.18197 0.14380 0.30769 0.27538 0.87143
KDEOS 5 0.14286 0.10286 0.12823 0.08755 0.20000 0.16267 0.73048
KDEOS 16 0.14286 0.10286 0.20162 0.16436 0.25000 0.21500 0.63238
KDEOS 62 0.00000 -0.04667 0.11002 0.06849 0.25806 0.22344 0.74857
KDEOS 65 0.14286 0.10286 0.12058 0.07954 0.25806 0.22344 0.75333
LDF 4 0.14286 0.10286 0.19705 0.15958 0.35294 0.32275 0.76095
LDF 5 0.28571 0.25238 0.19270 0.15503 0.34783 0.31739 0.75524
LDF 18 0.14286 0.10286 0.13916 0.09898 0.26087 0.22638 0.78286
INFLO 1 0.14286 0.10286 0.07611 0.03300 0.15385 0.11436 0.56190
INFLO 2 0.14286 0.10286 0.14822 0.10847 0.22222 0.18593 0.69048
INFLO 35 0.14286 0.10286 0.12515 0.08432 0.21053 0.17368 0.78571
INFLO 43 0.14286 0.10286 0.13158 0.09106 0.24000 0.20453 0.78190
COF 52 0.14286 0.10286 0.20625 0.16921 0.27273 0.23879 0.84286
COF 73 0.28571 0.25238 0.21254 0.17580 0.31579 0.28386 0.75714
COF 82 0.28571 0.25238 0.19008 0.15228 0.40000 0.37200 0.76667
COF 93 0.28571 0.25238 0.22814 0.19212 0.40000 0.37200 0.76857

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO