Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Pima (10% of outliers version#05)

The data set contains medical data on diabetes. Patients suffering from diabetes were considered outliers.

Download all data set variants used (694.8 kB). You can also access the original data. (pima-indians-diabetes.data)

Normalized, without duplicates

This version contains 8 attributes, 555 objects, 55 outliers (9.91%)

Download raw algorithm results (4.9 MB) Download raw algorithm evaluation table (52.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.18182 0.09182 0.17613 0.08551 0.31169 0.23597 0.69595
KNN 2 0.16364 0.07164 0.16694 0.07530 0.32184 0.24724 0.68869
KNN 12 0.12727 0.03127 0.15732 0.06462 0.29907 0.22196 0.69615
KNNW 1 0.23636 0.15236 0.17298 0.08201 0.30508 0.22864 0.68382
KNNW 3 0.20000 0.11200 0.17416 0.08332 0.30000 0.22300 0.69440
KNNW 4 0.18182 0.09182 0.17114 0.07997 0.31214 0.23647 0.69353
KNNW 24 0.14545 0.05145 0.15890 0.06638 0.29665 0.21928 0.69451
LOF 6 0.20000 0.11200 0.14320 0.04895 0.25143 0.16909 0.62818
LOF 90 0.10909 0.01109 0.14812 0.05441 0.29020 0.21212 0.68025
LOF 96 0.10909 0.01109 0.14959 0.05605 0.28462 0.20592 0.68316
SimplifiedLOF 4 0.16364 0.07164 0.13620 0.04118 0.23529 0.15118 0.60171
SimplifiedLOF 16 0.10909 0.01109 0.13664 0.04167 0.24900 0.16639 0.62673
SimplifiedLOF 81 0.09091 -0.00909 0.13369 0.03840 0.25871 0.17716 0.62629
SimplifiedLOF 97 0.10909 0.01109 0.13600 0.04096 0.25660 0.17483 0.63382
LoOP 4 0.18182 0.09182 0.13544 0.04034 0.24272 0.15942 0.59605
LoOP 26 0.10909 0.01109 0.13395 0.03869 0.24691 0.16407 0.62502
LoOP 86 0.07273 -0.02927 0.13123 0.03566 0.25837 0.17679 0.61945
LDOF 3 0.20000 0.11200 0.13093 0.03533 0.21774 0.13169 0.57185
LDOF 4 0.12727 0.03127 0.14433 0.05021 0.23904 0.15534 0.61495
LDOF 14 0.12727 0.03127 0.13433 0.03911 0.26027 0.17890 0.60975
LDOF 16 0.16364 0.07164 0.13898 0.04426 0.24658 0.16370 0.61673
ODIN 6 0.20623 0.11892 0.14270 0.04840 0.22449 0.13918 0.60704
ODIN 82 0.09091 -0.00909 0.13446 0.03925 0.26829 0.18780 0.62991
ODIN 100 0.07273 -0.02927 0.13682 0.04187 0.25911 0.17761 0.63842
FastABOD 7 0.23636 0.15236 0.18981 0.10069 0.33548 0.26239 0.72040
FastABOD 47 0.21818 0.13218 0.19601 0.10757 0.35789 0.28726 0.72927
FastABOD 71 0.21818 0.13218 0.19762 0.10935 0.35789 0.28726 0.73164
FastABOD 100 0.21818 0.13218 0.19645 0.10806 0.34737 0.27558 0.73302
KDEOS 3 0.18182 0.09182 0.18961 0.10047 0.24055 0.15701 0.61636
KDEOS 20 0.05455 -0.04945 0.11966 0.02282 0.24272 0.15942 0.59015
LDF 2 0.21818 0.13218 0.13927 0.04459 0.22222 0.13667 0.59276
LDF 85 0.12727 0.03127 0.15499 0.06203 0.28986 0.21174 0.69625
LDF 94 0.14545 0.05145 0.15676 0.06400 0.28700 0.20857 0.69985
INFLO 3 0.16364 0.07164 0.14251 0.04818 0.27329 0.19335 0.58096
INFLO 4 0.18182 0.09182 0.13445 0.03924 0.23622 0.15220 0.59596
INFLO 13 0.16364 0.07164 0.14064 0.04611 0.25876 0.17722 0.64509
INFLO 86 0.09091 -0.00909 0.13514 0.04001 0.27500 0.19525 0.62531
COF 43 0.20000 0.11200 0.16199 0.06981 0.29825 0.22105 0.66349
COF 77 0.23636 0.15236 0.17352 0.08260 0.27907 0.19977 0.67564
COF 100 0.21818 0.13218 0.18715 0.09774 0.27468 0.19489 0.70007

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 8 attributes, 555 objects, 55 outliers (9.91%)

Download raw algorithm results (4.8 MB) Download raw algorithm evaluation table (53.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 9 0.23636 0.15236 0.18775 0.09840 0.29630 0.21889 0.63755
KNN 12 0.21818 0.13218 0.18533 0.09571 0.29787 0.22064 0.63493
KNNW 11 0.20000 0.11200 0.18055 0.09042 0.30464 0.22815 0.62905
KNNW 14 0.20000 0.11200 0.18310 0.09325 0.29870 0.22156 0.63127
KNNW 16 0.20000 0.11200 0.18307 0.09320 0.29114 0.21316 0.63164
KNNW 83 0.23636 0.15236 0.17603 0.08540 0.26724 0.18664 0.62215
LOF 18 0.18182 0.09182 0.14779 0.05404 0.26250 0.18138 0.62447
LOF 76 0.12727 0.03127 0.16836 0.07688 0.29050 0.21246 0.65204
LOF 90 0.12727 0.03127 0.16907 0.07767 0.28718 0.20877 0.65069
LOF 97 0.12727 0.03127 0.16866 0.07721 0.29189 0.21400 0.64840
SimplifiedLOF 29 0.18182 0.09182 0.14087 0.04637 0.23970 0.15607 0.59964
SimplifiedLOF 100 0.12727 0.03127 0.16155 0.06932 0.28108 0.20200 0.61451
LoOP 28 0.18182 0.09182 0.13315 0.03779 0.22545 0.14025 0.59891
LoOP 76 0.12727 0.03127 0.14875 0.05511 0.25439 0.17237 0.61071
LoOP 98 0.10909 0.01109 0.15654 0.06376 0.26047 0.17912 0.60627
LoOP 100 0.10909 0.01109 0.15688 0.06413 0.25837 0.17679 0.61029
LDOF 4 0.18182 0.09182 0.12298 0.02650 0.20488 0.11741 0.55255
LDOF 96 0.14545 0.05145 0.15968 0.06724 0.26484 0.18397 0.60720
LDOF 98 0.14545 0.05145 0.16104 0.06876 0.25806 0.17645 0.60873
LDOF 100 0.14545 0.05145 0.16118 0.06890 0.25962 0.17817 0.60858
ODIN 32 0.16860 0.07714 0.13186 0.03637 0.22901 0.14420 0.58025
ODIN 37 0.15556 0.06267 0.13616 0.04113 0.24675 0.16390 0.58913
ODIN 97 0.14545 0.05145 0.13691 0.04197 0.23704 0.15311 0.59380
FastABOD 3 0.23636 0.15236 0.17099 0.07980 0.24876 0.16612 0.63742
FastABOD 17 0.20000 0.11200 0.18974 0.10061 0.30928 0.23330 0.67109
FastABOD 96 0.23636 0.15236 0.19938 0.11132 0.30366 0.22707 0.67956
FastABOD 99 0.23636 0.15236 0.19934 0.11126 0.30457 0.22807 0.67985
KDEOS 6 0.14545 0.05145 0.11269 0.01509 0.19178 0.10288 0.50564
KDEOS 55 0.07273 -0.02927 0.11221 0.01455 0.23824 0.15445 0.56047
KDEOS 97 0.09091 -0.00909 0.11933 0.02245 0.22615 0.14102 0.57244
KDEOS 100 0.09091 -0.00909 0.11893 0.02201 0.22776 0.14281 0.57335
LDF 14 0.20000 0.11200 0.15994 0.06753 0.27368 0.19379 0.63655
LDF 55 0.12727 0.03127 0.17296 0.08198 0.30939 0.23343 0.65887
LDF 62 0.12727 0.03127 0.17485 0.08409 0.29762 0.22036 0.66313
LDF 79 0.14545 0.05145 0.17461 0.08382 0.29268 0.21488 0.66593
INFLO 27 0.20000 0.11200 0.14483 0.05076 0.26667 0.18600 0.62447
INFLO 97 0.12727 0.03127 0.17185 0.08075 0.31769 0.24264 0.66087
COF 35 0.20000 0.11200 0.14149 0.04706 0.25101 0.16862 0.61847
COF 84 0.18182 0.09182 0.15949 0.06703 0.27556 0.19587 0.63215
COF 99 0.18182 0.09182 0.16414 0.07219 0.27386 0.19398 0.64393
COF 100 0.16364 0.07164 0.16366 0.07166 0.27500 0.19525 0.64616

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO