Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Pima (5% of outliers version#03)

The data set contains medical data on diabetes. Patients suffering from diabetes were considered outliers.

Download all data set variants used (694.8 kB). You can also access the original data. (pima-indians-diabetes.data)

Normalized, without duplicates

This version contains 8 attributes, 526 objects, 26 outliers (4.94%)

Download raw algorithm results (4.6 MB) Download raw algorithm evaluation table (47.0 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 5 0.19231 0.15031 0.17269 0.12967 0.22727 0.18709 0.80362
KNN 7 0.23077 0.19077 0.17020 0.12706 0.24490 0.20563 0.80262
KNN 87 0.15385 0.10985 0.15038 0.10620 0.27692 0.23932 0.78346
KNNW 1 0.11538 0.06938 0.13714 0.09227 0.25743 0.21881 0.79385
KNNW 6 0.19231 0.15031 0.16392 0.12044 0.22989 0.18984 0.80646
KNNW 25 0.23077 0.19077 0.15904 0.11531 0.23077 0.19077 0.79692
KNNW 59 0.19231 0.15031 0.16784 0.12457 0.23881 0.19922 0.79138
LOF 18 0.19231 0.15031 0.09905 0.05220 0.19231 0.15031 0.71031
LOF 67 0.19231 0.15031 0.11663 0.07070 0.20657 0.16531 0.76831
LOF 96 0.19231 0.15031 0.12972 0.08446 0.22727 0.18709 0.76600
SimplifiedLOF 27 0.19231 0.15031 0.10057 0.05380 0.19231 0.15031 0.66785
SimplifiedLOF 39 0.19231 0.15031 0.10263 0.05596 0.20833 0.16717 0.69062
SimplifiedLOF 96 0.19231 0.15031 0.11476 0.06873 0.20000 0.15840 0.74046
SimplifiedLOF 100 0.19231 0.15031 0.11253 0.06638 0.19608 0.15427 0.74123
LoOP 4 0.19231 0.15031 0.10810 0.06172 0.21053 0.16947 0.61915
LoOP 100 0.15385 0.10985 0.11210 0.06593 0.18182 0.13927 0.73385
LDOF 4 0.23077 0.19077 0.13751 0.09266 0.27907 0.24158 0.63038
LDOF 53 0.15385 0.10985 0.10320 0.05657 0.17204 0.12899 0.71192
ODIN 8 0.15851 0.11475 0.08477 0.03718 0.16667 0.12333 0.63138
ODIN 63 0.15385 0.10985 0.11010 0.06383 0.19048 0.14838 0.73769
ODIN 90 0.15385 0.10985 0.11163 0.06544 0.18182 0.13927 0.74085
ODIN 98 0.15385 0.10985 0.11071 0.06447 0.18182 0.13927 0.74169
FastABOD 35 0.19231 0.15031 0.17706 0.13426 0.29126 0.25441 0.83438
FastABOD 37 0.23077 0.19077 0.17658 0.13376 0.29126 0.25441 0.83185
FastABOD 87 0.23077 0.19077 0.19705 0.15529 0.31481 0.27919 0.83346
FastABOD 100 0.23077 0.19077 0.19474 0.15286 0.31579 0.28021 0.83323
KDEOS 6 0.07692 0.02892 0.11677 0.07084 0.16393 0.12046 0.62438
KDEOS 26 0.15385 0.10985 0.07846 0.03054 0.18750 0.14525 0.60331
KDEOS 98 0.07692 0.02892 0.07479 0.02668 0.14706 0.10271 0.65638
LDF 29 0.19231 0.15031 0.11700 0.07109 0.20657 0.16531 0.76385
LDF 74 0.19231 0.15031 0.13332 0.08825 0.23288 0.19299 0.77908
LDF 95 0.19231 0.15031 0.13983 0.09510 0.25455 0.21578 0.77731
LDF 100 0.19231 0.15031 0.14123 0.09657 0.25000 0.21100 0.77754
INFLO 3 0.19231 0.15031 0.10514 0.05861 0.22951 0.18944 0.62238
INFLO 4 0.15385 0.10985 0.11834 0.07249 0.25000 0.21100 0.65123
INFLO 100 0.15385 0.10985 0.11615 0.07019 0.18357 0.14112 0.75638
COF 92 0.23077 0.19077 0.18271 0.14021 0.30000 0.26360 0.81200
COF 95 0.26923 0.23123 0.18646 0.14415 0.30137 0.26504 0.81046
COF 99 0.23077 0.19077 0.19215 0.15015 0.33846 0.30406 0.80969

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 8 attributes, 526 objects, 26 outliers (4.94%)

Download raw algorithm results (4.6 MB) Download raw algorithm evaluation table (49.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.19231 0.15031 0.14299 0.09843 0.24390 0.20459 0.77388
KNN 7 0.15385 0.10985 0.14123 0.09657 0.28571 0.24857 0.76062
KNN 10 0.15385 0.10985 0.14347 0.09893 0.27692 0.23932 0.77042
KNN 11 0.15385 0.10985 0.14266 0.09808 0.26471 0.22647 0.77446
KNNW 10 0.15385 0.10985 0.13679 0.09191 0.27500 0.23730 0.76700
KNNW 15 0.15385 0.10985 0.14068 0.09599 0.26667 0.22853 0.76885
KNNW 16 0.15385 0.10985 0.14079 0.09611 0.25714 0.21851 0.76869
KNNW 24 0.19231 0.15031 0.13754 0.09269 0.24658 0.20740 0.76423
LOF 23 0.19231 0.15031 0.11210 0.06593 0.19231 0.15031 0.71992
LOF 67 0.15385 0.10985 0.11961 0.07383 0.22819 0.18805 0.74769
LOF 95 0.19231 0.15031 0.12701 0.08162 0.22400 0.18365 0.75954
LOF 96 0.15385 0.10985 0.12584 0.08038 0.22047 0.17994 0.76023
SimplifiedLOF 19 0.15385 0.10985 0.10101 0.05426 0.17500 0.13210 0.67146
SimplifiedLOF 23 0.15385 0.10985 0.10819 0.06182 0.20690 0.16566 0.69431
SimplifiedLOF 98 0.15385 0.10985 0.11625 0.07030 0.19481 0.15294 0.72631
SimplifiedLOF 100 0.15385 0.10985 0.11641 0.07047 0.19048 0.14838 0.72531
LoOP 16 0.15385 0.10985 0.09069 0.04341 0.16667 0.12333 0.66377
LoOP 33 0.15385 0.10985 0.11167 0.06547 0.19355 0.15161 0.70592
LoOP 35 0.15385 0.10985 0.11054 0.06429 0.20339 0.16197 0.70496
LoOP 97 0.15385 0.10985 0.11035 0.06409 0.19608 0.15427 0.70750
LDOF 32 0.15385 0.10985 0.09260 0.04541 0.16949 0.12631 0.68300
LDOF 69 0.15385 0.10985 0.10832 0.06195 0.20253 0.16106 0.69269
LDOF 97 0.11538 0.06938 0.11062 0.06437 0.18543 0.14307 0.70654
LDOF 98 0.11538 0.06938 0.11056 0.06431 0.18543 0.14307 0.70715
ODIN 9 0.08425 0.03663 0.08276 0.03507 0.15894 0.11521 0.69185
ODIN 38 0.11538 0.06938 0.09400 0.04689 0.20253 0.16106 0.64823
ODIN 90 0.16923 0.12603 0.10462 0.05806 0.18182 0.13927 0.67423
ODIN 100 0.14904 0.10479 0.10741 0.06100 0.18605 0.14372 0.68396
FastABOD 11 0.19231 0.15031 0.13755 0.09271 0.26087 0.22243 0.77008
FastABOD 81 0.19231 0.15031 0.15056 0.10639 0.29126 0.25441 0.78069
FastABOD 97 0.19231 0.15031 0.15092 0.10677 0.29126 0.25441 0.78185
FastABOD 98 0.19231 0.15031 0.15039 0.10621 0.29126 0.25441 0.78192
KDEOS 6 0.07692 0.02892 0.06861 0.02018 0.12195 0.07629 0.55862
KDEOS 54 0.03846 -0.01154 0.07361 0.02544 0.15957 0.11587 0.66208
KDEOS 61 0.03846 -0.01154 0.07708 0.02909 0.15315 0.10912 0.67200
LDF 16 0.19231 0.15031 0.13134 0.08617 0.22222 0.18178 0.73938
LDF 57 0.15385 0.10985 0.12733 0.08195 0.23448 0.19468 0.76477
LDF 70 0.15385 0.10985 0.13083 0.08564 0.22764 0.18748 0.77046
LDF 80 0.19231 0.15031 0.13196 0.08682 0.23009 0.19005 0.76877
INFLO 12 0.15385 0.10985 0.09421 0.04711 0.18182 0.13927 0.66915
INFLO 23 0.15385 0.10985 0.11337 0.06727 0.19469 0.15281 0.74523
INFLO 100 0.15385 0.10985 0.11802 0.07216 0.22222 0.18178 0.70208
COF 27 0.15385 0.10985 0.13883 0.09404 0.20896 0.16782 0.72177
COF 36 0.19231 0.15031 0.12702 0.08163 0.26667 0.22853 0.72423
COF 37 0.23077 0.19077 0.12334 0.07775 0.25000 0.21100 0.71996
COF 97 0.19231 0.15031 0.12745 0.08208 0.21053 0.16947 0.78785

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO