Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

SpamBase (10% of outliers version#04)

A data set representing emails classified as spam (outliers) or nonspam.

Download all data set variants used (25.4 MB). You can also access the original data. (spambase.data)

Normalized, without duplicates

This version contains 57 attributes, 2808 objects, 280 outliers (9.97%)

Download raw algorithm results (25.0 MB) Download raw algorithm evaluation table (70.0 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.24286 0.15900 0.19668 0.10770 0.30387 0.22676 0.70408
KNNW 1 0.24643 0.16296 0.18675 0.09668 0.28909 0.21035 0.64855
KNNW 4 0.24643 0.16296 0.19213 0.10265 0.29639 0.21845 0.68948
KNNW 7 0.23929 0.15503 0.19334 0.10400 0.29455 0.21642 0.69484
KNNW 10 0.23571 0.15106 0.19296 0.10358 0.28925 0.21052 0.69622
LOF 27 0.09643 -0.00365 0.13420 0.03831 0.26953 0.18862 0.64166
LOF 99 0.16786 0.07569 0.15476 0.06114 0.25326 0.17055 0.64966
LOF 100 0.16429 0.07172 0.15495 0.06135 0.25540 0.17293 0.65015
SimplifiedLOF 2 0.12857 0.03205 0.10805 0.00925 0.18322 0.09276 0.52165
SimplifiedLOF 36 0.08929 -0.01158 0.12283 0.02567 0.23877 0.15446 0.61429
SimplifiedLOF 38 0.08929 -0.01158 0.12243 0.02524 0.24165 0.15765 0.61311
SimplifiedLOF 100 0.10357 0.00428 0.12849 0.03196 0.22733 0.14175 0.60084
LoOP 17 0.13571 0.03999 0.13183 0.03568 0.21605 0.12922 0.59669
LoOP 54 0.11071 0.01222 0.13359 0.03762 0.24567 0.16212 0.62494
LoOP 100 0.13214 0.03602 0.15140 0.05741 0.23906 0.15478 0.63409
LDOF 5 0.13571 0.03999 0.11885 0.02125 0.19590 0.10684 0.54949
LDOF 53 0.12143 0.02412 0.13317 0.03716 0.23579 0.15115 0.62666
LDOF 95 0.11429 0.01618 0.14275 0.04780 0.24126 0.15722 0.61791
LDOF 100 0.12143 0.02412 0.14367 0.04882 0.23580 0.15116 0.61864
ODIN 96 0.16571 0.07331 0.15068 0.05661 0.25613 0.17374 0.63672
ODIN 98 0.16800 0.07585 0.15124 0.05723 0.25411 0.17150 0.63776
ODIN 100 0.16652 0.07420 0.15163 0.05766 0.25316 0.17045 0.63853
FastABOD 4 0.23214 0.14710 0.17171 0.07997 0.27244 0.19186 0.65975
FastABOD 10 0.21786 0.13123 0.17642 0.08520 0.27051 0.18971 0.66307
FastABOD 56 0.21786 0.13123 0.17904 0.08811 0.28000 0.20025 0.66054
FastABOD 70 0.22500 0.13916 0.18003 0.08921 0.27570 0.19548 0.66212
KDEOS 13 0.13214 0.03602 0.11569 0.01774 0.19258 0.10315 0.53997
KDEOS 17 0.11071 0.01222 0.13171 0.03554 0.20109 0.11260 0.55872
KDEOS 24 0.11786 0.02015 0.12040 0.02297 0.21303 0.12586 0.57040
KDEOS 34 0.12143 0.02412 0.11633 0.01845 0.20678 0.11893 0.57658
LDF 7 0.12143 0.02412 0.14219 0.04718 0.25832 0.17617 0.64736
LDF 87 0.17857 0.08759 0.14559 0.05095 0.23544 0.15076 0.63422
LDF 100 0.15714 0.06379 0.14857 0.05427 0.25106 0.16811 0.64449
INFLO 90 0.16429 0.07172 0.15583 0.06233 0.25702 0.17473 0.64917
INFLO 100 0.15714 0.06379 0.15702 0.06366 0.25985 0.17787 0.65319
COF 5 0.15357 0.05982 0.12112 0.02377 0.19808 0.10926 0.54757
COF 30 0.13214 0.03602 0.14522 0.05054 0.24603 0.16252 0.64142
COF 54 0.11786 0.02015 0.13172 0.03555 0.24691 0.16350 0.62987

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 57 attributes, 3097 objects, 309 outliers (9.98%)

Download raw algorithm results (25.6 MB) Download raw algorithm evaluation table (74.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 3 0.22330 0.13722 0.21927 0.13274 0.32839 0.25395 0.75672
KNN 5 0.24919 0.16598 0.22133 0.13503 0.33118 0.25706 0.75512
KNN 6 0.24919 0.16598 0.22252 0.13635 0.32670 0.25208 0.75169
KNNW 1 0.24595 0.16238 0.18452 0.09413 0.26834 0.18725 0.63875
KNNW 10 0.22330 0.13722 0.21641 0.12956 0.31364 0.23757 0.74903
KNNW 11 0.23625 0.15160 0.21670 0.12988 0.31139 0.23507 0.74853
KNNW 14 0.23301 0.14800 0.21609 0.12920 0.31459 0.23862 0.74387
LOF 13 0.15534 0.06172 0.13168 0.03544 0.22809 0.14253 0.63006
LOF 15 0.14887 0.05453 0.13233 0.03616 0.23044 0.14515 0.63186
LOF 24 0.11974 0.02218 0.12839 0.03179 0.23675 0.15215 0.63724
LOF 27 0.11003 0.01140 0.12653 0.02973 0.23883 0.15447 0.63345
SimplifiedLOF 2 0.13269 0.03656 0.11431 0.01614 0.18806 0.09807 0.52927
SimplifiedLOF 48 0.08738 -0.01377 0.11613 0.01817 0.22431 0.13833 0.60338
SimplifiedLOF 80 0.06796 -0.03534 0.11816 0.02042 0.22733 0.14169 0.59418
SimplifiedLOF 86 0.06472 -0.03893 0.11934 0.02174 0.22649 0.14076 0.59614
LoOP 1 0.14887 0.05453 0.12580 0.02891 0.19776 0.10884 0.55496
LoOP 56 0.11003 0.01140 0.12623 0.02939 0.22924 0.14382 0.61886
LoOP 59 0.11003 0.01140 0.12561 0.02870 0.23140 0.14622 0.61819
LoOP 99 0.10680 0.00780 0.13153 0.03528 0.23014 0.14482 0.61508
LDOF 3 0.12945 0.03296 0.11806 0.02031 0.18999 0.10022 0.51754
LDOF 84 0.11327 0.01499 0.12929 0.03279 0.22931 0.14389 0.61474
ODIN 90 0.15858 0.06532 0.15067 0.05654 0.24412 0.16035 0.63554
ODIN 99 0.16227 0.06943 0.15230 0.05835 0.24019 0.15598 0.63955
ODIN 100 0.16251 0.06968 0.15221 0.05824 0.23985 0.15560 0.63946
FastABOD 20 0.17152 0.07970 0.15030 0.05613 0.24970 0.16655 0.65030
FastABOD 78 0.16828 0.07610 0.15881 0.06558 0.25087 0.16784 0.65142
FastABOD 88 0.16828 0.07610 0.15911 0.06591 0.25103 0.16803 0.65107
FastABOD 100 0.16828 0.07610 0.16115 0.06818 0.25062 0.16756 0.65107
KDEOS 5 0.14887 0.05453 0.11515 0.01708 0.18898 0.09909 0.53489
KDEOS 48 0.11327 0.01499 0.11935 0.02175 0.20844 0.12071 0.58824
KDEOS 50 0.12298 0.02578 0.11952 0.02193 0.20955 0.12194 0.58720
KDEOS 61 0.11650 0.01859 0.11777 0.01999 0.21357 0.12641 0.58365
LDF 5 0.15210 0.05813 0.13991 0.04458 0.23822 0.15379 0.63003
LDF 7 0.14887 0.05453 0.15641 0.06291 0.27743 0.19735 0.69846
LDF 8 0.14239 0.04734 0.14997 0.05576 0.28068 0.20095 0.69038
INFLO 13 0.13916 0.04375 0.12758 0.03089 0.22009 0.13365 0.61163
INFLO 16 0.12298 0.02578 0.12731 0.03058 0.21815 0.13150 0.61524
INFLO 48 0.08738 -0.01377 0.11993 0.02239 0.23184 0.14670 0.61438
INFLO 100 0.09385 -0.00658 0.12968 0.03322 0.22415 0.13816 0.59944
COF 24 0.13916 0.04375 0.12691 0.03014 0.21998 0.13353 0.60948
COF 44 0.11327 0.01499 0.13204 0.03584 0.24399 0.16020 0.64403
COF 48 0.10356 0.00421 0.13236 0.03620 0.23921 0.15489 0.64578

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 57 attributes, 2808 objects, 280 outliers (9.97%)

Download raw algorithm results (24.4 MB) Download raw algorithm evaluation table (68.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.31786 0.24230 0.29725 0.21942 0.32993 0.25571 0.74330
KNN 5 0.33214 0.25817 0.29441 0.21626 0.34747 0.27520 0.74258
KNN 6 0.33571 0.26214 0.29308 0.21478 0.34338 0.27065 0.74357
KNNW 3 0.30714 0.23040 0.29964 0.22207 0.33333 0.25949 0.73897
KNNW 5 0.32857 0.25420 0.29835 0.22064 0.33277 0.25887 0.74141
KNNW 10 0.32500 0.25024 0.29638 0.21845 0.33812 0.26481 0.74378
KNNW 19 0.32500 0.25024 0.28911 0.21037 0.34409 0.27144 0.74092
LOF 86 0.20000 0.11139 0.17982 0.08897 0.24335 0.15954 0.63058
LOF 100 0.17857 0.08759 0.18362 0.09320 0.25156 0.16866 0.63740
SimplifiedLOF 56 0.20357 0.11536 0.17083 0.07899 0.21483 0.12787 0.60830
SimplifiedLOF 100 0.19643 0.10743 0.19070 0.10106 0.23167 0.14657 0.62034
LoOP 97 0.18571 0.09552 0.15789 0.06462 0.21000 0.12250 0.59167
LoOP 99 0.18214 0.09156 0.15849 0.06528 0.21198 0.12470 0.59227
LoOP 100 0.18571 0.09552 0.15861 0.06541 0.21148 0.12414 0.59262
LDOF 47 0.11071 0.01222 0.11315 0.01493 0.19370 0.10439 0.52803
LDOF 98 0.16071 0.06776 0.12710 0.03042 0.18786 0.09791 0.53718
LDOF 100 0.15714 0.06379 0.12788 0.03129 0.18910 0.09929 0.53898
ODIN 13 0.07896 -0.02305 0.11309 0.01485 0.21765 0.13100 0.58440
ODIN 15 0.07700 -0.02524 0.11294 0.01469 0.21467 0.12769 0.58440
ODIN 97 0.11607 0.01817 0.11481 0.01676 0.20188 0.11349 0.56928
ODIN 98 0.11429 0.01618 0.11489 0.01686 0.20113 0.11265 0.56926
FastABOD 4 0.28571 0.20660 0.27703 0.19696 0.31499 0.23912 0.75505
FastABOD 7 0.27500 0.19470 0.27664 0.19653 0.31665 0.24096 0.75632
FastABOD 91 0.28571 0.20660 0.27566 0.19543 0.32340 0.24846 0.75021
KDEOS 76 0.12500 0.02809 0.12264 0.02547 0.22209 0.13593 0.60381
KDEOS 95 0.11786 0.02015 0.12368 0.02661 0.22627 0.14058 0.60384
KDEOS 98 0.11071 0.01222 0.12448 0.02750 0.22544 0.13965 0.60453
KDEOS 100 0.11429 0.01618 0.12461 0.02766 0.22360 0.13761 0.60440
LDF 73 0.25357 0.17090 0.24492 0.16128 0.28571 0.20660 0.68435
LDF 98 0.27143 0.19073 0.23893 0.15463 0.30210 0.22480 0.69928
LDF 99 0.26786 0.18677 0.23958 0.15536 0.30465 0.22764 0.70099
LDF 100 0.26786 0.18677 0.23841 0.15406 0.30380 0.22669 0.70233
INFLO 91 0.16786 0.07569 0.17123 0.07944 0.29209 0.21368 0.64100
INFLO 97 0.17143 0.07966 0.17214 0.08045 0.29252 0.21416 0.63933
INFLO 99 0.17500 0.08362 0.17198 0.08027 0.29019 0.21157 0.63545
COF 98 0.23214 0.14710 0.25422 0.17162 0.28608 0.20700 0.66915
COF 100 0.25000 0.16693 0.25490 0.17237 0.29355 0.21531 0.66803

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 57 attributes, 3097 objects, 309 outliers (9.98%)

Download raw algorithm results (25.3 MB) Download raw algorithm evaluation table (72.2 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 5 0.33657 0.26304 0.30137 0.22394 0.36111 0.29030 0.76929
KNN 6 0.34304 0.27023 0.30336 0.22615 0.35904 0.28800 0.76888
KNN 7 0.33981 0.26664 0.30152 0.22411 0.35351 0.28186 0.76975
KNNW 8 0.33333 0.25945 0.30037 0.22283 0.35463 0.28310 0.76489
KNNW 9 0.34304 0.27023 0.29987 0.22227 0.35644 0.28511 0.76486
KNNW 18 0.32362 0.24866 0.29084 0.21224 0.35227 0.28048 0.76645
LOF 97 0.17152 0.07970 0.16573 0.07326 0.25224 0.16936 0.63946
LOF 100 0.16828 0.07610 0.16852 0.07636 0.25448 0.17185 0.64419
SimplifiedLOF 3 0.17152 0.07970 0.12516 0.02820 0.20247 0.11408 0.54242
SimplifiedLOF 100 0.14563 0.05094 0.14016 0.04486 0.21906 0.13251 0.60890
LoOP 3 0.17799 0.08689 0.12887 0.03232 0.19789 0.10900 0.56004
LoOP 94 0.13592 0.04015 0.12887 0.03232 0.21082 0.12335 0.57872
LoOP 100 0.13916 0.04375 0.13221 0.03604 0.20998 0.12242 0.58380
LDOF 2 0.14887 0.05453 0.11858 0.02089 0.18155 0.09084 0.47981
LDOF 3 0.15210 0.05813 0.11507 0.01699 0.18664 0.09649 0.48770
LDOF 97 0.12621 0.02937 0.10843 0.00962 0.19063 0.10092 0.52609
LDOF 100 0.12621 0.02937 0.10948 0.01078 0.18995 0.10017 0.52826
ODIN 3 0.12603 0.02916 0.11574 0.01773 0.20786 0.12007 0.57296
ODIN 11 0.09756 -0.00246 0.11948 0.02189 0.22155 0.13527 0.59229
ODIN 100 0.09994 0.00019 0.12136 0.02398 0.20690 0.11900 0.57654
FastABOD 38 0.27184 0.19114 0.24703 0.16358 0.32996 0.25570 0.75603
FastABOD 70 0.27832 0.19833 0.26199 0.18019 0.32653 0.25189 0.75807
FastABOD 100 0.27832 0.19833 0.26348 0.18185 0.32787 0.25338 0.75880
KDEOS 66 0.13269 0.03656 0.11660 0.01869 0.21037 0.12286 0.57823
KDEOS 94 0.11974 0.02218 0.12431 0.02725 0.21664 0.12982 0.59156
KDEOS 100 0.12298 0.02578 0.12750 0.03080 0.21578 0.12886 0.59539
LDF 80 0.28479 0.20552 0.23078 0.14553 0.28818 0.20929 0.68989
LDF 96 0.28479 0.20552 0.24593 0.16235 0.31618 0.24039 0.71616
LDF 99 0.28155 0.20193 0.24423 0.16047 0.31340 0.23730 0.71993
INFLO 98 0.16505 0.07251 0.15611 0.06257 0.29397 0.21572 0.63409
INFLO 99 0.16828 0.07610 0.15540 0.06179 0.28994 0.21125 0.62571
INFLO 100 0.16505 0.07251 0.15759 0.06422 0.29561 0.21754 0.63170
COF 13 0.17152 0.07970 0.11822 0.02049 0.19048 0.10075 0.53560
COF 100 0.16828 0.07610 0.15607 0.06253 0.24816 0.16484 0.64949

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO