Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Pima (5% of outliers version#01)

The data set contains medical data on diabetes. Patients suffering from diabetes were considered outliers.

Download all data set variants used (694.8 kB). You can also access the original data. (pima-indians-diabetes.data)

Normalized, without duplicates

This version contains 8 attributes, 526 objects, 26 outliers (4.94%)

Download raw algorithm results (4.6 MB) Download raw algorithm evaluation table (49.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.19231 0.15031 0.12639 0.08096 0.22951 0.18944 0.73508
KNN 4 0.23077 0.19077 0.11518 0.06917 0.24490 0.20563 0.73335
KNN 76 0.03846 -0.01154 0.10692 0.06048 0.20690 0.16566 0.75654
KNNW 1 0.21154 0.17054 0.13137 0.08620 0.25455 0.21578 0.71077
KNNW 2 0.23077 0.19077 0.12603 0.08059 0.25000 0.21100 0.71362
KNNW 3 0.23077 0.19077 0.12989 0.08465 0.26087 0.22243 0.72231
KNNW 100 0.07692 0.02892 0.10839 0.06203 0.21053 0.16947 0.75062
LOF 2 0.11538 0.06938 0.07422 0.02608 0.14493 0.10046 0.49796
LOF 100 0.03846 -0.01154 0.09685 0.04989 0.22222 0.18178 0.74800
SimplifiedLOF 1 0.11538 0.06938 0.06314 0.01442 0.13636 0.09145 0.50258
SimplifiedLOF 95 0.03846 -0.01154 0.08396 0.03633 0.18367 0.14122 0.70085
SimplifiedLOF 100 0.03846 -0.01154 0.08467 0.03707 0.18000 0.13736 0.70308
LoOP 1 0.11538 0.06938 0.06466 0.01602 0.13636 0.09145 0.52858
LoOP 92 0.03846 -0.01154 0.08234 0.03462 0.18605 0.14372 0.68808
LoOP 99 0.03846 -0.01154 0.08292 0.03523 0.18182 0.13927 0.69258
LDOF 3 0.11538 0.06938 0.06264 0.01389 0.12030 0.07456 0.49000
LDOF 36 0.03846 -0.01154 0.08671 0.03922 0.20000 0.15840 0.67108
LDOF 37 0.03846 -0.01154 0.08710 0.03963 0.19200 0.14998 0.67262
ODIN 21 0.07692 0.02892 0.09998 0.05318 0.20455 0.16318 0.66765
ODIN 24 0.13187 0.08673 0.10889 0.06255 0.19048 0.14838 0.67888
ODIN 26 0.09615 0.04915 0.11132 0.06511 0.20253 0.16106 0.68142
ODIN 100 0.03846 -0.01154 0.08662 0.03913 0.18433 0.14192 0.70873
FastABOD 22 0.19231 0.15031 0.14183 0.09721 0.30508 0.26895 0.75600
FastABOD 25 0.23077 0.19077 0.14515 0.10070 0.29032 0.25342 0.75800
FastABOD 45 0.19231 0.15031 0.14676 0.10240 0.28571 0.24857 0.76462
FastABOD 75 0.19231 0.15031 0.14497 0.10051 0.27586 0.23821 0.76977
KDEOS 3 0.19231 0.15031 0.08030 0.03248 0.19231 0.15031 0.52215
KDEOS 35 0.03846 -0.01154 0.07496 0.02686 0.14151 0.09687 0.63269
LDF 2 0.11538 0.06938 0.07326 0.02507 0.14458 0.10010 0.54035
LDF 98 0.07692 0.02892 0.10522 0.05869 0.20619 0.16491 0.75700
LDF 100 0.07692 0.02892 0.10564 0.05913 0.20408 0.16269 0.75708
INFLO 2 0.11538 0.06938 0.06937 0.02097 0.13636 0.09145 0.54700
INFLO 89 0.03846 -0.01154 0.09098 0.04371 0.19149 0.14945 0.72785
INFLO 100 0.03846 -0.01154 0.09068 0.04339 0.19388 0.15196 0.72769
COF 98 0.26923 0.23123 0.16925 0.12605 0.27451 0.23678 0.77354
COF 99 0.26923 0.23123 0.17092 0.12781 0.26923 0.23123 0.77362

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 8 attributes, 526 objects, 26 outliers (4.94%)

Download raw algorithm results (4.6 MB) Download raw algorithm evaluation table (47.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.19231 0.15031 0.10015 0.05336 0.20000 0.15840 0.60292
KNN 4 0.19231 0.15031 0.10282 0.05616 0.21739 0.17670 0.63504
KNN 10 0.19231 0.15031 0.11020 0.06393 0.21622 0.17546 0.64992
KNNW 4 0.19231 0.15031 0.10472 0.05816 0.19608 0.15427 0.60846
KNNW 6 0.19231 0.15031 0.10358 0.05697 0.21277 0.17183 0.62138
KNNW 10 0.19231 0.15031 0.10529 0.05877 0.20408 0.16269 0.63308
KNNW 38 0.19231 0.15031 0.10032 0.05354 0.19608 0.15427 0.64246
LOF 12 0.15385 0.10985 0.08982 0.04249 0.16667 0.12333 0.66531
LOF 21 0.11538 0.06938 0.11138 0.06517 0.24242 0.20303 0.66254
LOF 22 0.11538 0.06938 0.11173 0.06554 0.22222 0.18178 0.66731
LOF 65 0.07692 0.02892 0.10260 0.05593 0.20370 0.16230 0.69308
SimplifiedLOF 17 0.15385 0.10985 0.08474 0.03714 0.17021 0.12706 0.61900
SimplifiedLOF 31 0.11538 0.06938 0.10078 0.05402 0.17204 0.12899 0.64062
SimplifiedLOF 79 0.07692 0.02892 0.09660 0.04963 0.18000 0.13736 0.67408
SimplifiedLOF 97 0.07692 0.02892 0.09725 0.05031 0.20370 0.16230 0.67154
LoOP 17 0.15385 0.10985 0.07859 0.03068 0.16000 0.11632 0.58985
LoOP 36 0.11538 0.06938 0.10275 0.05610 0.18182 0.13927 0.64812
LoOP 64 0.11538 0.06938 0.09583 0.04882 0.19780 0.15609 0.65531
LoOP 79 0.07692 0.02892 0.09884 0.05198 0.19149 0.14945 0.66954
LDOF 17 0.15385 0.10985 0.08558 0.03803 0.15686 0.11302 0.58923
LDOF 39 0.11538 0.06938 0.09199 0.04477 0.20690 0.16566 0.62569
LDOF 76 0.11538 0.06938 0.10268 0.05602 0.18947 0.14733 0.65162
LDOF 100 0.07692 0.02892 0.10099 0.05424 0.20202 0.16053 0.66469
ODIN 51 0.15385 0.10985 0.09318 0.04602 0.17323 0.13024 0.65292
ODIN 62 0.12179 0.07613 0.09854 0.05167 0.18487 0.14249 0.65585
ODIN 73 0.11538 0.06938 0.12421 0.07867 0.17808 0.13534 0.65335
ODIN 99 0.07692 0.02892 0.09625 0.04926 0.19549 0.15365 0.64392
FastABOD 3 0.19231 0.15031 0.10220 0.05551 0.19608 0.15427 0.59946
FastABOD 4 0.19231 0.15031 0.10175 0.05504 0.20000 0.15840 0.62215
FastABOD 100 0.15385 0.10985 0.10175 0.05504 0.19048 0.14838 0.66169
KDEOS 2 0.07692 0.02892 0.08368 0.03603 0.09594 0.04893 0.44323
KDEOS 74 0.03846 -0.01154 0.06614 0.01758 0.14689 0.10253 0.61500
KDEOS 100 0.03846 -0.01154 0.06807 0.01960 0.14286 0.09829 0.62492
LDF 11 0.19231 0.15031 0.10226 0.05558 0.20000 0.15840 0.68392
LDF 16 0.11538 0.06938 0.11655 0.07061 0.23881 0.19922 0.69269
LDF 17 0.11538 0.06938 0.11700 0.07108 0.22857 0.18846 0.69762
INFLO 14 0.15385 0.10985 0.08349 0.03583 0.16667 0.12333 0.58923
INFLO 31 0.11538 0.06938 0.10925 0.06293 0.17476 0.13184 0.65131
INFLO 86 0.07692 0.02892 0.09850 0.05162 0.20370 0.16230 0.64431
INFLO 96 0.07692 0.02892 0.09947 0.05264 0.20183 0.16033 0.67977
COF 27 0.23077 0.19077 0.13686 0.09197 0.23077 0.19077 0.65569
COF 30 0.23077 0.19077 0.14446 0.09997 0.25000 0.21100 0.66100
COF 84 0.07692 0.02892 0.11021 0.06394 0.21622 0.17546 0.72092

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO