Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

SpamBase (10% of outliers version#05)

A data set representing emails classified as spam (outliers) or nonspam.

Download all data set variants used (25.4 MB). You can also access the original data. (spambase.data)

Normalized, without duplicates

This version contains 57 attributes, 2808 objects, 280 outliers (9.97%)

Download raw algorithm results (25.1 MB) Download raw algorithm evaluation table (69.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 3 0.18571 0.09552 0.17736 0.08625 0.28210 0.20258 0.69501
KNN 7 0.20714 0.11933 0.18328 0.09282 0.27670 0.19659 0.70502
KNNW 10 0.20000 0.11139 0.17456 0.08313 0.27972 0.19994 0.69169
KNNW 12 0.20000 0.11139 0.17584 0.08456 0.27914 0.19930 0.69328
KNNW 13 0.20357 0.11536 0.17605 0.08479 0.27896 0.19910 0.69288
KNNW 15 0.20714 0.11933 0.17534 0.08400 0.27463 0.19429 0.69167
LOF 31 0.10357 0.00428 0.15139 0.05740 0.27154 0.19086 0.66852
LOF 72 0.18571 0.09552 0.17015 0.07824 0.26827 0.18723 0.67898
LOF 81 0.17500 0.08362 0.17177 0.08003 0.26821 0.18716 0.68375
SimplifiedLOF 44 0.08214 -0.01952 0.13614 0.04046 0.24613 0.16263 0.63438
SimplifiedLOF 95 0.14643 0.05189 0.15173 0.05778 0.23653 0.15197 0.63429
SimplifiedLOF 100 0.14643 0.05189 0.15259 0.05873 0.23721 0.15272 0.63617
LoOP 91 0.16429 0.07172 0.16688 0.07460 0.26204 0.18031 0.66680
LoOP 94 0.16429 0.07172 0.16781 0.07563 0.25654 0.17420 0.66792
LoOP 100 0.17500 0.08362 0.16779 0.07561 0.25669 0.17437 0.66955
LDOF 71 0.13571 0.03999 0.15839 0.06518 0.24921 0.16606 0.64687
LDOF 81 0.14643 0.05189 0.16072 0.06776 0.24818 0.16490 0.64766
LDOF 94 0.14643 0.05189 0.16501 0.07253 0.24135 0.15732 0.64641
LDOF 100 0.16786 0.07569 0.16474 0.07223 0.24054 0.15643 0.64710
ODIN 81 0.18254 0.09200 0.15744 0.06411 0.26132 0.17950 0.65604
ODIN 100 0.18448 0.09415 0.15894 0.06579 0.25912 0.17707 0.65867
FastABOD 4 0.15714 0.06379 0.14649 0.05195 0.22639 0.14071 0.61989
FastABOD 5 0.16786 0.07569 0.14877 0.05448 0.22770 0.14216 0.61861
FastABOD 6 0.16429 0.07172 0.14913 0.05489 0.22931 0.14395 0.61710
FastABOD 48 0.14643 0.05189 0.15118 0.05717 0.22482 0.13897 0.61269
KDEOS 7 0.13214 0.03602 0.10760 0.00876 0.18437 0.09403 0.49142
KDEOS 12 0.12500 0.02809 0.11361 0.01543 0.18349 0.09305 0.49876
KDEOS 46 0.08571 -0.01555 0.10576 0.00672 0.20073 0.11221 0.54490
KDEOS 100 0.09286 -0.00762 0.10587 0.00684 0.20926 0.12168 0.54435
LDF 9 0.12143 0.02412 0.14689 0.05239 0.26075 0.17887 0.66811
LDF 10 0.12857 0.03205 0.14401 0.04920 0.26549 0.18413 0.66494
LDF 46 0.14643 0.05189 0.10214 0.00270 0.18440 0.09407 0.46429
INFLO 75 0.17857 0.08759 0.17412 0.08264 0.27564 0.19541 0.68425
INFLO 77 0.18571 0.09552 0.17366 0.08214 0.27292 0.19239 0.68448
INFLO 81 0.17500 0.08362 0.17441 0.08297 0.27190 0.19126 0.68747
INFLO 92 0.17857 0.08759 0.17328 0.08171 0.26993 0.18907 0.68793
COF 44 0.12500 0.02809 0.14523 0.05056 0.24714 0.16375 0.64232
COF 45 0.12857 0.03205 0.14588 0.05128 0.24570 0.16215 0.64416
COF 100 0.16786 0.07569 0.13216 0.03604 0.22490 0.13905 0.61003

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 57 attributes, 3097 objects, 309 outliers (9.98%)

Download raw algorithm results (25.7 MB) Download raw algorithm evaluation table (74.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.24272 0.15879 0.20915 0.12150 0.32133 0.24612 0.73738
KNN 5 0.24595 0.16238 0.20568 0.11764 0.30757 0.23082 0.74341
KNN 6 0.25243 0.16957 0.20525 0.11717 0.30590 0.22897 0.74218
KNNW 6 0.23301 0.14800 0.20359 0.11533 0.30996 0.23348 0.73374
KNNW 11 0.24595 0.16238 0.20525 0.11717 0.30681 0.22998 0.73864
KNNW 12 0.24919 0.16598 0.20504 0.11693 0.30714 0.23035 0.73831
LOF 12 0.15858 0.06532 0.13506 0.03920 0.23097 0.14573 0.63755
LOF 15 0.13916 0.04375 0.13540 0.03958 0.24377 0.15995 0.64658
LOF 20 0.11003 0.01140 0.13280 0.03669 0.24272 0.15879 0.64734
LOF 33 0.07767 -0.02455 0.12768 0.03100 0.25295 0.17015 0.63983
SimplifiedLOF 1 0.12621 0.02937 0.11075 0.01219 0.19108 0.10143 0.53885
SimplifiedLOF 20 0.10032 0.00061 0.12060 0.02314 0.22133 0.13502 0.59999
SimplifiedLOF 39 0.06472 -0.03893 0.11837 0.02066 0.23060 0.14532 0.61304
SimplifiedLOF 71 0.05178 -0.05331 0.11053 0.01195 0.23300 0.14799 0.59307
LoOP 14 0.14563 0.05094 0.12798 0.03133 0.21566 0.12873 0.60137
LoOP 26 0.12945 0.03296 0.13232 0.03616 0.22485 0.13894 0.62186
LoOP 42 0.09385 -0.00658 0.12843 0.03183 0.23119 0.14598 0.62732
LoOP 95 0.08091 -0.02096 0.12156 0.02420 0.23742 0.15290 0.61265
LDOF 2 0.11974 0.02218 0.11336 0.01509 0.18353 0.09304 0.49325
LDOF 38 0.09709 -0.00298 0.12453 0.02750 0.22388 0.13786 0.61088
LDOF 78 0.09385 -0.00658 0.12363 0.02650 0.23037 0.14507 0.61678
LDOF 99 0.08738 -0.01377 0.12185 0.02452 0.23229 0.14721 0.61278
ODIN 8 0.15430 0.06057 0.12802 0.03138 0.21033 0.12280 0.59665
ODIN 91 0.14812 0.05370 0.14612 0.05148 0.25111 0.16810 0.64750
ODIN 100 0.15154 0.05750 0.14753 0.05305 0.24543 0.16180 0.64940
FastABOD 14 0.16828 0.07610 0.15243 0.05849 0.26559 0.18419 0.66699
FastABOD 20 0.17476 0.08329 0.15523 0.06160 0.26343 0.18180 0.66939
FastABOD 45 0.18123 0.09048 0.15478 0.06110 0.26046 0.17849 0.66580
FastABOD 77 0.18123 0.09048 0.15885 0.06562 0.26117 0.17928 0.66626
KDEOS 3 0.14563 0.05094 0.11342 0.01516 0.18959 0.09977 0.52561
KDEOS 65 0.11003 0.01140 0.12323 0.02606 0.22861 0.14311 0.60820
KDEOS 66 0.11003 0.01140 0.12391 0.02681 0.22688 0.14119 0.60904
LDF 3 0.17799 0.08689 0.14822 0.05381 0.23177 0.14663 0.62505
LDF 7 0.13269 0.03656 0.15328 0.05944 0.26312 0.18146 0.67730
LDF 9 0.11327 0.01499 0.14647 0.05187 0.27039 0.18952 0.68158
INFLO 3 0.14239 0.04734 0.12293 0.02572 0.20917 0.12153 0.57508
INFLO 12 0.13592 0.04015 0.12957 0.03310 0.22011 0.13367 0.61351
INFLO 30 0.09061 -0.01017 0.12384 0.02673 0.23206 0.14695 0.62499
INFLO 40 0.06796 -0.03534 0.12087 0.02343 0.23621 0.15156 0.62072
COF 5 0.13916 0.04375 0.11817 0.02044 0.20138 0.11286 0.56668
COF 33 0.10356 0.00421 0.13183 0.03561 0.23626 0.15161 0.63741
COF 34 0.10680 0.00780 0.13204 0.03584 0.23845 0.15405 0.63720
COF 55 0.07443 -0.02815 0.12380 0.02669 0.24116 0.15706 0.62415

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 57 attributes, 2808 objects, 280 outliers (9.97%)

Download raw algorithm results (24.4 MB) Download raw algorithm evaluation table (68.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 3 0.34286 0.27007 0.27803 0.19806 0.35503 0.28359 0.74629
KNN 5 0.35000 0.27801 0.27400 0.19359 0.35063 0.27870 0.74582
KNN 7 0.34286 0.27007 0.28660 0.20759 0.34667 0.27430 0.74910
KNN 8 0.34286 0.27007 0.28820 0.20936 0.34735 0.27506 0.74863
KNNW 4 0.32143 0.24627 0.27274 0.19219 0.35427 0.28275 0.73051
KNNW 6 0.34643 0.27404 0.27528 0.19501 0.34862 0.27648 0.73565
KNNW 10 0.33929 0.26611 0.28515 0.20598 0.34622 0.27381 0.74166
KNNW 100 0.30357 0.22644 0.24984 0.16675 0.32856 0.25419 0.74712
LOF 99 0.17857 0.08759 0.17517 0.08381 0.24977 0.16668 0.65447
LOF 100 0.17857 0.08759 0.17551 0.08419 0.25023 0.16719 0.65475
SimplifiedLOF 67 0.18929 0.09949 0.16982 0.07787 0.22552 0.13974 0.61256
SimplifiedLOF 98 0.18214 0.09156 0.18019 0.08939 0.24062 0.15651 0.62963
SimplifiedLOF 100 0.18214 0.09156 0.18104 0.09033 0.23796 0.15356 0.63064
LoOP 51 0.18214 0.09156 0.13919 0.04385 0.20970 0.12217 0.58553
LoOP 95 0.16429 0.07172 0.15138 0.05739 0.22519 0.13937 0.60227
LoOP 98 0.16429 0.07172 0.15204 0.05812 0.22326 0.13722 0.60498
LoOP 100 0.16429 0.07172 0.15243 0.05856 0.22262 0.13652 0.60475
LDOF 60 0.16071 0.06776 0.11757 0.01983 0.18590 0.09573 0.52805
LDOF 89 0.14643 0.05189 0.12364 0.02657 0.19070 0.10106 0.53729
LDOF 100 0.14643 0.05189 0.12626 0.02948 0.18917 0.09936 0.54399
ODIN 80 0.11259 0.01431 0.11736 0.01960 0.21807 0.13147 0.58552
ODIN 87 0.12370 0.02664 0.11869 0.02107 0.21153 0.12420 0.58612
ODIN 88 0.12398 0.02695 0.11853 0.02090 0.21107 0.12369 0.58545
ODIN 99 0.11627 0.01839 0.11927 0.02173 0.20906 0.12145 0.58390
FastABOD 6 0.26786 0.18677 0.24796 0.16467 0.31687 0.24121 0.74150
FastABOD 20 0.28214 0.20263 0.24707 0.16367 0.32666 0.25208 0.74048
FastABOD 37 0.28571 0.20660 0.24766 0.16434 0.32244 0.24740 0.74045
FastABOD 99 0.28571 0.20660 0.24896 0.16578 0.31974 0.24439 0.74048
KDEOS 79 0.13929 0.04395 0.12381 0.02676 0.21704 0.13032 0.59101
KDEOS 99 0.12143 0.02412 0.12732 0.03066 0.21859 0.13205 0.59729
KDEOS 100 0.12143 0.02412 0.12691 0.03020 0.22062 0.13430 0.59725
LDF 73 0.24643 0.16296 0.23641 0.15183 0.29313 0.21484 0.70625
LDF 86 0.23929 0.15503 0.22713 0.14153 0.30154 0.22418 0.70934
LDF 99 0.25357 0.17090 0.22600 0.14027 0.28472 0.20549 0.71535
INFLO 33 0.17500 0.08362 0.14077 0.04561 0.26146 0.17966 0.60778
INFLO 65 0.15000 0.05585 0.16000 0.06696 0.29051 0.21193 0.65145
INFLO 100 0.17143 0.07966 0.16476 0.07225 0.29761 0.21981 0.63780
COF 50 0.21429 0.12726 0.17975 0.08890 0.22928 0.14391 0.60679
COF 93 0.21071 0.12329 0.22045 0.13411 0.26537 0.18401 0.65186
COF 97 0.20714 0.11933 0.21737 0.13069 0.26915 0.18820 0.65145
COF 100 0.21071 0.12329 0.21890 0.13238 0.26847 0.18745 0.65294

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 57 attributes, 3097 objects, 309 outliers (9.98%)

Download raw algorithm results (25.4 MB) Download raw algorithm evaluation table (72.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.31392 0.23788 0.30235 0.22503 0.34031 0.26720 0.75283
KNN 5 0.33657 0.26304 0.29741 0.21954 0.33871 0.26542 0.75257
KNN 6 0.33333 0.25945 0.29765 0.21981 0.34076 0.26770 0.75251
KNNW 5 0.32686 0.25226 0.30411 0.22699 0.33770 0.26429 0.74868
KNNW 6 0.32362 0.24866 0.30362 0.22644 0.34179 0.26884 0.74877
KNNW 9 0.33657 0.26304 0.29937 0.22172 0.33712 0.26365 0.74933
KNNW 100 0.28803 0.20912 0.25438 0.17174 0.31791 0.24231 0.75198
LOF 13 0.15534 0.06172 0.11814 0.02041 0.20444 0.11627 0.56400
LOF 100 0.14887 0.05453 0.16849 0.07633 0.25442 0.17178 0.65480
SimplifiedLOF 20 0.16828 0.07610 0.12305 0.02585 0.21012 0.12258 0.57582
SimplifiedLOF 97 0.15534 0.06172 0.14361 0.04869 0.22709 0.14143 0.61412
SimplifiedLOF 100 0.14887 0.05453 0.14592 0.05126 0.22674 0.14104 0.61608
LoOP 1 0.16181 0.06891 0.14404 0.04918 0.18144 0.09072 0.53538
LoOP 100 0.14563 0.05094 0.13383 0.03783 0.21728 0.13053 0.59051
LDOF 2 0.15534 0.06172 0.13235 0.03619 0.18745 0.09739 0.49055
LDOF 87 0.13269 0.03656 0.10931 0.01059 0.19883 0.11004 0.53244
LDOF 100 0.13269 0.03656 0.11620 0.01824 0.19460 0.10534 0.54078
ODIN 2 0.12075 0.02330 0.12104 0.02362 0.21319 0.12598 0.59525
ODIN 3 0.12432 0.02727 0.11901 0.02137 0.21067 0.12319 0.58235
ODIN 9 0.08624 -0.01503 0.11562 0.01760 0.21933 0.13281 0.58860
FastABOD 95 0.28803 0.20912 0.27723 0.19713 0.32146 0.24625 0.74201
FastABOD 100 0.28803 0.20912 0.27734 0.19725 0.32146 0.24625 0.74211
KDEOS 100 0.11974 0.02218 0.12267 0.02544 0.22481 0.13889 0.59778
LDF 89 0.27184 0.19114 0.23811 0.15366 0.29958 0.22196 0.68802
LDF 96 0.27184 0.19114 0.24370 0.15987 0.30618 0.22928 0.69793
LDF 100 0.27184 0.19114 0.24024 0.15603 0.30812 0.23144 0.70105
INFLO 84 0.15210 0.05813 0.15158 0.05755 0.29652 0.21855 0.63385
INFLO 96 0.14563 0.05094 0.15906 0.06586 0.30598 0.22906 0.64214
INFLO 100 0.15210 0.05813 0.16048 0.06744 0.30550 0.22853 0.64031
COF 78 0.16181 0.06891 0.14432 0.04948 0.24829 0.16497 0.63519
COF 88 0.16828 0.07610 0.15137 0.05731 0.24354 0.15970 0.63707
COF 98 0.16505 0.07251 0.16358 0.07088 0.24483 0.16113 0.65032
COF 100 0.16181 0.06891 0.16791 0.07569 0.24518 0.16152 0.65015

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO