Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

SpamBase (10% of outliers version#02)

A data set representing emails classified as spam (outliers) or nonspam.

Download all data set variants used (25.4 MB). You can also access the original data. (spambase.data)

Normalized, without duplicates

This version contains 57 attributes, 2808 objects, 280 outliers (9.97%)

Download raw algorithm results (25.1 MB) Download raw algorithm evaluation table (70.0 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.23571 0.15106 0.19477 0.10559 0.28857 0.20977 0.68171
KNN 7 0.21429 0.12726 0.19171 0.10219 0.27447 0.19411 0.70380
KNNW 7 0.22500 0.13916 0.18843 0.09854 0.27756 0.19754 0.67960
KNNW 11 0.23929 0.15503 0.18942 0.09964 0.27485 0.19454 0.68911
KNNW 12 0.23929 0.15503 0.18956 0.09979 0.27326 0.19276 0.68999
KNNW 14 0.22857 0.14313 0.18932 0.09953 0.27143 0.19073 0.69008
LOF 29 0.11786 0.02015 0.14209 0.04707 0.26415 0.18265 0.65257
LOF 80 0.21429 0.12726 0.16797 0.07581 0.25379 0.17113 0.65963
LOF 98 0.19286 0.10346 0.16726 0.07502 0.25319 0.17047 0.66025
SimplifiedLOF 39 0.09286 -0.00762 0.13215 0.03602 0.24152 0.15751 0.62213
SimplifiedLOF 42 0.10000 0.00032 0.13317 0.03716 0.23961 0.15539 0.62219
SimplifiedLOF 90 0.15000 0.05585 0.14199 0.04695 0.21895 0.13244 0.60920
SimplifiedLOF 100 0.14643 0.05189 0.14416 0.04936 0.22021 0.13384 0.61362
LoOP 39 0.13214 0.03602 0.13902 0.04366 0.25230 0.16948 0.63787
LoOP 85 0.20000 0.11139 0.16258 0.06982 0.24779 0.16447 0.64354
LoOP 100 0.19643 0.10743 0.16570 0.07329 0.25217 0.16934 0.65074
LDOF 51 0.13929 0.04395 0.13893 0.04356 0.24178 0.15779 0.63748
LDOF 56 0.14643 0.05189 0.14056 0.04537 0.23840 0.15405 0.63850
LDOF 100 0.18571 0.09552 0.15847 0.06526 0.23510 0.15038 0.63240
ODIN 98 0.17900 0.08807 0.15389 0.06017 0.26002 0.17806 0.64830
ODIN 100 0.17647 0.08526 0.15438 0.06072 0.26188 0.18013 0.64911
FastABOD 10 0.21786 0.13123 0.17273 0.08111 0.25392 0.17129 0.62145
FastABOD 18 0.22500 0.13916 0.17598 0.08471 0.25526 0.17278 0.61890
FastABOD 49 0.22500 0.13916 0.17755 0.08646 0.25721 0.17494 0.61679
FastABOD 64 0.21786 0.13123 0.17363 0.08210 0.26034 0.17842 0.61799
KDEOS 3 0.12857 0.03205 0.11312 0.01489 0.18302 0.09253 0.49692
KDEOS 85 0.09286 -0.00762 0.11270 0.01443 0.20987 0.12236 0.55938
KDEOS 98 0.10714 0.00825 0.11417 0.01606 0.20671 0.11885 0.56434
KDEOS 100 0.11429 0.01618 0.11456 0.01649 0.20796 0.12023 0.56384
LDF 5 0.18929 0.09949 0.15837 0.06515 0.25000 0.16693 0.63406
LDF 10 0.13929 0.04395 0.14913 0.05489 0.26461 0.18316 0.66719
LDF 69 0.19643 0.10743 0.14649 0.05196 0.21716 0.13045 0.60923
INFLO 74 0.21429 0.12726 0.16719 0.07495 0.25688 0.17457 0.65728
INFLO 80 0.20357 0.11536 0.16925 0.07724 0.26455 0.18309 0.66555
INFLO 98 0.19643 0.10743 0.16939 0.07740 0.26424 0.18274 0.66864
INFLO 99 0.19643 0.10743 0.16925 0.07724 0.26216 0.18044 0.66879
COF 35 0.15714 0.06379 0.13795 0.04247 0.23792 0.15351 0.62013
COF 36 0.16429 0.07172 0.13783 0.04234 0.23394 0.14909 0.62132
COF 96 0.15000 0.05585 0.14007 0.04482 0.22317 0.13713 0.60620

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 57 attributes, 3097 objects, 309 outliers (9.98%)

Download raw algorithm results (25.6 MB) Download raw algorithm evaluation table (74.2 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.23301 0.14800 0.19710 0.10812 0.28781 0.20888 0.70180
KNN 4 0.23301 0.14800 0.20617 0.11818 0.28460 0.20531 0.72380
KNN 5 0.22654 0.14081 0.20776 0.11995 0.27927 0.19939 0.72242
KNN 6 0.23625 0.15160 0.20663 0.11870 0.27907 0.19917 0.72006
KNNW 8 0.23948 0.15519 0.20090 0.11234 0.27810 0.19809 0.71235
KNNW 9 0.24595 0.16238 0.20227 0.11385 0.27728 0.19718 0.71303
KNNW 10 0.24272 0.15879 0.20229 0.11388 0.27692 0.19678 0.71292
LOF 10 0.17476 0.08329 0.15502 0.06137 0.26188 0.18007 0.67535
LOF 12 0.17476 0.08329 0.15529 0.06167 0.25476 0.17217 0.67736
LOF 18 0.14563 0.05094 0.14796 0.05352 0.25887 0.17673 0.67765
LOF 23 0.12621 0.02937 0.14409 0.04923 0.26578 0.18440 0.67516
SimplifiedLOF 1 0.14239 0.04734 0.11601 0.01804 0.19687 0.10786 0.54746
SimplifiedLOF 14 0.13269 0.03656 0.13314 0.03706 0.23678 0.15219 0.62456
SimplifiedLOF 40 0.09061 -0.01017 0.12941 0.03292 0.24797 0.16462 0.64358
LoOP 16 0.17476 0.08329 0.14851 0.05413 0.24725 0.16382 0.64758
LoOP 20 0.16505 0.07251 0.15060 0.05646 0.25553 0.17302 0.65407
LoOP 22 0.16505 0.07251 0.15173 0.05771 0.25389 0.17119 0.65743
LoOP 42 0.12621 0.02937 0.14293 0.04794 0.24499 0.16131 0.65850
LDOF 18 0.15534 0.06172 0.13470 0.03880 0.22404 0.13804 0.61763
LDOF 53 0.12621 0.02937 0.14049 0.04523 0.24481 0.16111 0.65211
LDOF 78 0.13592 0.04015 0.14184 0.04672 0.24211 0.15811 0.64980
ODIN 43 0.16328 0.07055 0.15571 0.06214 0.24880 0.16554 0.65521
ODIN 71 0.15811 0.06481 0.15564 0.06206 0.25295 0.17015 0.64971
ODIN 80 0.17237 0.08064 0.15697 0.06354 0.25000 0.16688 0.64963
ODIN 100 0.16660 0.07423 0.15964 0.06650 0.25056 0.16750 0.65135
FastABOD 22 0.16505 0.07251 0.14132 0.04615 0.23024 0.14493 0.62570
FastABOD 70 0.15858 0.06532 0.14573 0.05105 0.23219 0.14710 0.62799
FastABOD 89 0.15858 0.06532 0.14690 0.05235 0.23421 0.14934 0.62786
FastABOD 96 0.16181 0.06891 0.14764 0.05317 0.23408 0.14919 0.62798
KDEOS 17 0.15534 0.06172 0.12369 0.02657 0.19886 0.11006 0.56522
KDEOS 25 0.13592 0.04015 0.12667 0.02988 0.20462 0.11646 0.58071
KDEOS 58 0.10032 0.00061 0.11986 0.02231 0.22296 0.13684 0.60542
KDEOS 65 0.08414 -0.01736 0.11830 0.02058 0.22421 0.13822 0.60268
LDF 6 0.17152 0.07970 0.16548 0.07299 0.27575 0.19548 0.69798
LDF 7 0.16181 0.06891 0.16469 0.07211 0.27726 0.19716 0.70126
INFLO 12 0.17799 0.08689 0.14920 0.05490 0.25876 0.17661 0.66030
INFLO 22 0.13592 0.04015 0.14162 0.04649 0.25305 0.17026 0.66184
COF 23 0.17152 0.07970 0.14306 0.04809 0.23771 0.15322 0.64057
COF 26 0.16181 0.06891 0.14541 0.05069 0.24303 0.15913 0.64617
COF 35 0.15534 0.06172 0.14263 0.04761 0.25634 0.17392 0.65533
COF 41 0.14887 0.05453 0.14322 0.04826 0.25492 0.17234 0.65688

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 57 attributes, 2808 objects, 280 outliers (9.97%)

Download raw algorithm results (24.4 MB) Download raw algorithm evaluation table (67.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.30714 0.23040 0.28422 0.20494 0.34522 0.27270 0.74414
KNN 3 0.32500 0.25024 0.29013 0.21151 0.34070 0.26768 0.75406
KNNW 6 0.32500 0.25024 0.28770 0.20880 0.34115 0.26817 0.74562
KNNW 13 0.31786 0.24230 0.28220 0.20270 0.34371 0.27102 0.75082
KNNW 100 0.28929 0.21057 0.25022 0.16717 0.32308 0.24810 0.75307
LOF 44 0.17857 0.08759 0.16113 0.06821 0.21976 0.13334 0.60312
LOF 100 0.16071 0.06776 0.17436 0.08291 0.26223 0.18051 0.65055
SimplifiedLOF 50 0.17857 0.08759 0.16674 0.07445 0.21496 0.12801 0.60482
SimplifiedLOF 100 0.17143 0.07966 0.17627 0.08504 0.23632 0.15174 0.62568
LoOP 83 0.15714 0.06379 0.15447 0.06082 0.21376 0.12667 0.59314
LoOP 96 0.16786 0.07569 0.15283 0.05900 0.21700 0.13028 0.59339
LoOP 98 0.16429 0.07172 0.15248 0.05861 0.21995 0.13356 0.59433
LoOP 100 0.16786 0.07569 0.15306 0.05926 0.21830 0.13172 0.59577
LDOF 3 0.14286 0.04792 0.11520 0.01720 0.18135 0.09067 0.48447
LDOF 89 0.12500 0.02809 0.12490 0.02797 0.18848 0.09859 0.52321
LDOF 100 0.12500 0.02809 0.12563 0.02879 0.18698 0.09693 0.52760
ODIN 18 0.06940 -0.03367 0.10824 0.00946 0.21805 0.13144 0.56955
ODIN 53 0.11786 0.02015 0.10995 0.01137 0.20274 0.11443 0.55467
ODIN 97 0.09903 -0.00077 0.11727 0.01950 0.20550 0.11750 0.57560
ODIN 100 0.10179 0.00230 0.11739 0.01963 0.20531 0.11729 0.57498
FastABOD 3 0.28929 0.21057 0.25888 0.17679 0.31818 0.24266 0.73895
FastABOD 21 0.27500 0.19470 0.25340 0.17070 0.33087 0.25676 0.73362
KDEOS 91 0.14286 0.04792 0.12694 0.03024 0.22070 0.13438 0.60129
KDEOS 98 0.13214 0.03602 0.12763 0.03101 0.22412 0.13818 0.60439
KDEOS 99 0.13929 0.04395 0.12715 0.03047 0.22458 0.13870 0.60414
KDEOS 100 0.13929 0.04395 0.12708 0.03040 0.22413 0.13819 0.60454
LDF 87 0.27143 0.19073 0.24124 0.15720 0.30552 0.22860 0.72481
LDF 97 0.26786 0.18677 0.23995 0.15577 0.31466 0.23875 0.73158
LDF 99 0.26786 0.18677 0.24065 0.15655 0.31519 0.23934 0.73136
LDF 100 0.27143 0.19073 0.24481 0.16116 0.31290 0.23679 0.73143
INFLO 79 0.17143 0.07966 0.16185 0.06901 0.29161 0.21315 0.63315
INFLO 86 0.16786 0.07569 0.16262 0.06987 0.29130 0.21281 0.63922
INFLO 97 0.16429 0.07172 0.16413 0.07155 0.29392 0.21571 0.63129
COF 100 0.23929 0.15503 0.22562 0.13985 0.28049 0.20079 0.67187

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 57 attributes, 3097 objects, 309 outliers (9.98%)

Download raw algorithm results (25.4 MB) Download raw algorithm evaluation table (71.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.35275 0.28101 0.32156 0.24637 0.35955 0.28857 0.76651
KNN 4 0.36246 0.29180 0.31559 0.23974 0.36964 0.29977 0.76953
KNN 7 0.35922 0.28820 0.31673 0.24101 0.37209 0.30250 0.77198
KNNW 3 0.34304 0.27023 0.32239 0.24729 0.35922 0.28820 0.75363
KNNW 6 0.36246 0.29180 0.32011 0.24476 0.36452 0.29408 0.76174
KNNW 8 0.35922 0.28820 0.31870 0.24318 0.36707 0.29692 0.76568
KNNW 18 0.34951 0.27742 0.30750 0.23075 0.37126 0.30157 0.76540
LOF 91 0.16505 0.07251 0.16402 0.07137 0.23896 0.15462 0.64152
LOF 100 0.16505 0.07251 0.16870 0.07656 0.24559 0.16197 0.64997
SimplifiedLOF 29 0.16505 0.07251 0.12479 0.02779 0.22095 0.13460 0.58690
SimplifiedLOF 49 0.17476 0.08329 0.12679 0.03001 0.21554 0.12860 0.58936
SimplifiedLOF 100 0.16505 0.07251 0.14649 0.05190 0.21861 0.13201 0.61840
LoOP 1 0.17152 0.07970 0.14329 0.04834 0.19618 0.10709 0.54440
LoOP 77 0.15858 0.06532 0.12542 0.02849 0.21497 0.12796 0.58316
LoOP 97 0.15534 0.06172 0.13587 0.04010 0.21391 0.12679 0.59235
LDOF 2 0.14239 0.04734 0.12269 0.02546 0.18555 0.09528 0.47806
LDOF 6 0.15858 0.06532 0.11516 0.01709 0.18405 0.09362 0.49617
LDOF 98 0.14563 0.05094 0.11704 0.01918 0.19556 0.10640 0.55058
LDOF 99 0.14887 0.05453 0.11741 0.01959 0.19455 0.10528 0.55127
ODIN 6 0.11824 0.02051 0.12028 0.02278 0.21862 0.13201 0.59416
ODIN 9 0.09817 -0.00179 0.11802 0.02027 0.21859 0.13199 0.59491
ODIN 17 0.09495 -0.00536 0.11609 0.01812 0.22061 0.13422 0.58487
ODIN 88 0.13269 0.03656 0.11868 0.02100 0.20988 0.12231 0.58506
FastABOD 9 0.32362 0.24866 0.26358 0.18196 0.36028 0.28938 0.74576
FastABOD 14 0.32686 0.25226 0.26975 0.18881 0.35765 0.28646 0.74630
FastABOD 83 0.33981 0.26664 0.29435 0.21614 0.35926 0.28825 0.74586
FastABOD 98 0.33981 0.26664 0.29460 0.21642 0.35926 0.28825 0.74582
KDEOS 6 0.14887 0.05453 0.11498 0.01689 0.19375 0.10439 0.54269
KDEOS 58 0.09709 -0.00298 0.11931 0.02170 0.22520 0.13933 0.58434
KDEOS 100 0.13269 0.03656 0.14224 0.04717 0.22503 0.13914 0.61248
LDF 93 0.29773 0.21990 0.25808 0.17585 0.31392 0.23788 0.69768
LDF 99 0.30744 0.23069 0.25435 0.17170 0.31472 0.23877 0.70355
LDF 100 0.30421 0.22709 0.25378 0.17108 0.31592 0.24011 0.70356
INFLO 84 0.15858 0.06532 0.15411 0.06036 0.29616 0.21816 0.63290
INFLO 85 0.15858 0.06532 0.15663 0.06315 0.30108 0.22361 0.64299
INFLO 97 0.15534 0.06172 0.15997 0.06687 0.30475 0.22769 0.63791
INFLO 99 0.15210 0.05813 0.16053 0.06749 0.30416 0.22704 0.63839
COF 26 0.16505 0.07251 0.13213 0.03595 0.21860 0.13200 0.59367
COF 32 0.15210 0.05813 0.13380 0.03780 0.22989 0.14453 0.59691
COF 96 0.15858 0.06532 0.16211 0.06925 0.22039 0.13398 0.62532
COF 100 0.15858 0.06532 0.16806 0.07586 0.22033 0.13391 0.62498

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO