Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

SpamBase (10% of outliers version#03)

A data set representing emails classified as spam (outliers) or nonspam.

Download all data set variants used (25.4 MB). You can also access the original data. (spambase.data)

Normalized, without duplicates

This version contains 57 attributes, 2808 objects, 280 outliers (9.97%)

Download raw algorithm results (25.1 MB) Download raw algorithm evaluation table (70.0 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.25000 0.16693 0.19487 0.10570 0.29006 0.21143 0.70046
KNN 3 0.24643 0.16296 0.20277 0.11447 0.30118 0.22378 0.72510
KNN 4 0.23929 0.15503 0.20012 0.11152 0.29173 0.21329 0.72795
KNNW 2 0.24643 0.16296 0.19483 0.10565 0.29576 0.21776 0.66385
KNNW 8 0.24286 0.15900 0.20016 0.11157 0.28596 0.20688 0.71425
KNNW 11 0.24286 0.15900 0.19876 0.11002 0.28691 0.20793 0.71597
LOF 91 0.18214 0.09156 0.16752 0.07531 0.28103 0.20140 0.68601
LOF 98 0.17857 0.08759 0.16773 0.07555 0.28700 0.20803 0.68659
LOF 99 0.18214 0.09156 0.16781 0.07564 0.28804 0.20919 0.68654
SimplifiedLOF 2 0.15357 0.05982 0.12253 0.02534 0.18951 0.09974 0.54043
SimplifiedLOF 30 0.10000 0.00032 0.12792 0.03133 0.24453 0.16085 0.63509
SimplifiedLOF 100 0.13929 0.04395 0.14179 0.04673 0.23682 0.15230 0.63879
LoOP 30 0.10357 0.00428 0.13452 0.03866 0.25298 0.17024 0.64279
LoOP 98 0.16071 0.06776 0.15758 0.06428 0.24782 0.16451 0.66882
LoOP 100 0.16071 0.06776 0.15837 0.06516 0.25000 0.16693 0.67009
LDOF 3 0.15000 0.05585 0.12277 0.02561 0.19308 0.10371 0.54469
LDOF 53 0.11786 0.02015 0.13255 0.03647 0.25310 0.17037 0.64282
LDOF 100 0.12500 0.02809 0.14397 0.04916 0.23424 0.14943 0.64620
ODIN 94 0.17768 0.08660 0.14591 0.05132 0.23396 0.14912 0.63247
ODIN 100 0.17474 0.08334 0.14726 0.05281 0.23684 0.15232 0.63561
FastABOD 3 0.22143 0.13519 0.17633 0.08511 0.27262 0.19206 0.65961
FastABOD 6 0.23214 0.14710 0.17854 0.08756 0.27027 0.18945 0.65724
FastABOD 59 0.21786 0.13123 0.18259 0.09206 0.25991 0.17794 0.64956
KDEOS 3 0.11786 0.02015 0.11233 0.01401 0.18763 0.09765 0.52035
KDEOS 36 0.06786 -0.03539 0.10592 0.00689 0.20564 0.11766 0.55752
KDEOS 66 0.03571 -0.07109 0.10050 0.00087 0.21199 0.12471 0.54751
LDF 7 0.13929 0.04395 0.15652 0.06310 0.28083 0.20118 0.69339
LDF 8 0.15000 0.05585 0.15210 0.05818 0.28370 0.20436 0.69416
LDF 57 0.18929 0.09949 0.14554 0.05090 0.22074 0.13443 0.60860
INFLO 89 0.17857 0.08759 0.16685 0.07457 0.26590 0.18460 0.68597
INFLO 92 0.17143 0.07966 0.16758 0.07539 0.27319 0.19269 0.68749
INFLO 99 0.17500 0.08362 0.16827 0.07615 0.27189 0.19124 0.68803
INFLO 100 0.17500 0.08362 0.16804 0.07589 0.27107 0.19033 0.68807
COF 40 0.12857 0.03205 0.14632 0.05176 0.27106 0.19032 0.65919
COF 98 0.18571 0.09552 0.16244 0.06967 0.25000 0.16693 0.64735
COF 100 0.20000 0.11139 0.16224 0.06945 0.25101 0.16805 0.64707

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 57 attributes, 3097 objects, 309 outliers (9.98%)

Download raw algorithm results (25.7 MB) Download raw algorithm evaluation table (74.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 5 0.26537 0.18395 0.21858 0.13198 0.30067 0.22316 0.73365
KNN 6 0.27184 0.19114 0.21815 0.13150 0.29712 0.21922 0.73132
KNN 7 0.27184 0.19114 0.21908 0.13253 0.29709 0.21919 0.73042
KNNW 9 0.26861 0.18755 0.20970 0.12211 0.29295 0.21459 0.72335
KNNW 11 0.27184 0.19114 0.21093 0.12347 0.29039 0.21174 0.72427
KNNW 12 0.26861 0.18755 0.21151 0.12412 0.29154 0.21302 0.72378
LOF 12 0.15534 0.06172 0.13971 0.04436 0.24749 0.16408 0.64894
LOF 35 0.08414 -0.01736 0.13464 0.03873 0.25375 0.17104 0.65606
LOF 42 0.07443 -0.02815 0.13227 0.03609 0.25947 0.17739 0.65031
SimplifiedLOF 2 0.12945 0.03296 0.11541 0.01737 0.20288 0.11453 0.54699
SimplifiedLOF 35 0.08414 -0.01736 0.12613 0.02928 0.23859 0.15420 0.62950
SimplifiedLOF 42 0.08091 -0.02096 0.12561 0.02870 0.24061 0.15645 0.63212
SimplifiedLOF 44 0.08091 -0.02096 0.12574 0.02885 0.24035 0.15615 0.63260
LoOP 3 0.14239 0.04734 0.11843 0.02072 0.19924 0.11049 0.56611
LoOP 21 0.14239 0.04734 0.13853 0.04305 0.23762 0.15313 0.63468
LoOP 54 0.11003 0.01140 0.13422 0.03826 0.24378 0.15996 0.64811
LoOP 63 0.10680 0.00780 0.13388 0.03788 0.24956 0.16639 0.64735
LDOF 2 0.13269 0.03656 0.11772 0.01993 0.20027 0.11163 0.52576
LDOF 74 0.11650 0.01859 0.13420 0.03824 0.24425 0.16049 0.64725
LDOF 75 0.11327 0.01499 0.13433 0.03838 0.24350 0.15965 0.64768
LDOF 78 0.11327 0.01499 0.13441 0.03847 0.24359 0.15976 0.64684
ODIN 70 0.16721 0.07491 0.14886 0.05452 0.25240 0.16954 0.63642
ODIN 91 0.18086 0.09007 0.15065 0.05652 0.24552 0.16190 0.63765
ODIN 100 0.17846 0.08740 0.15226 0.05831 0.24699 0.16353 0.63989
FastABOD 14 0.17476 0.08329 0.14070 0.04546 0.23464 0.14981 0.63341
FastABOD 74 0.16505 0.07251 0.14873 0.05439 0.24301 0.15911 0.64137
FastABOD 88 0.16828 0.07610 0.14916 0.05486 0.24612 0.16257 0.64112
FastABOD 100 0.16828 0.07610 0.14952 0.05526 0.24612 0.16257 0.64121
KDEOS 4 0.13269 0.03656 0.10930 0.01058 0.19210 0.10256 0.52972
KDEOS 26 0.11974 0.02218 0.11668 0.01878 0.20352 0.11524 0.56258
KDEOS 69 0.08738 -0.01377 0.11598 0.01800 0.21489 0.12788 0.58984
KDEOS 77 0.07120 -0.03174 0.11198 0.01355 0.21895 0.13239 0.58422
LDF 5 0.14887 0.05453 0.13375 0.03775 0.23859 0.15420 0.61774
LDF 8 0.09709 -0.00298 0.14958 0.05533 0.28336 0.20394 0.68361
INFLO 1 0.13916 0.04375 0.11172 0.01327 0.19672 0.10769 0.54288
INFLO 18 0.13592 0.04015 0.13778 0.04222 0.24166 0.15761 0.64807
INFLO 39 0.08738 -0.01377 0.13010 0.03369 0.24762 0.16423 0.64410
COF 27 0.16181 0.06891 0.13878 0.04333 0.24607 0.16251 0.62411
COF 40 0.13592 0.04015 0.13939 0.04401 0.24305 0.15916 0.64373
COF 43 0.13916 0.04375 0.13878 0.04332 0.24713 0.16368 0.64665
COF 44 0.13269 0.03656 0.13859 0.04312 0.24814 0.16481 0.64660

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 57 attributes, 2808 objects, 280 outliers (9.97%)

Download raw algorithm results (24.4 MB) Download raw algorithm evaluation table (67.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.31786 0.24230 0.28973 0.21106 0.32042 0.24515 0.74828
KNN 9 0.32500 0.25024 0.27663 0.19651 0.34094 0.26795 0.74893
KNN 10 0.32500 0.25024 0.27636 0.19621 0.34251 0.26968 0.74921
KNN 99 0.28571 0.20660 0.25006 0.16699 0.33405 0.26029 0.75526
KNNW 4 0.29643 0.21850 0.28452 0.20528 0.32227 0.24721 0.73847
KNNW 10 0.30714 0.23040 0.28135 0.20175 0.33787 0.26454 0.74795
KNNW 26 0.32143 0.24627 0.27306 0.19254 0.33107 0.25698 0.74949
KNNW 100 0.29643 0.21850 0.25706 0.17477 0.33161 0.25758 0.75400
LOF 33 0.16786 0.07569 0.14172 0.04666 0.20000 0.11139 0.56664
LOF 100 0.16071 0.06776 0.17791 0.08685 0.23468 0.14992 0.62324
SimplifiedLOF 46 0.18929 0.09949 0.15455 0.06090 0.19718 0.10826 0.57318
SimplifiedLOF 54 0.18214 0.09156 0.15871 0.06553 0.20955 0.12200 0.57904
SimplifiedLOF 100 0.16786 0.07569 0.17859 0.08761 0.20759 0.11982 0.59691
LoOP 53 0.16071 0.06776 0.13696 0.04137 0.20150 0.11306 0.55658
LoOP 80 0.17143 0.07966 0.14622 0.05165 0.19657 0.10758 0.56405
LoOP 100 0.16786 0.07569 0.15090 0.05686 0.19648 0.10748 0.56648
LDOF 60 0.14286 0.04792 0.11526 0.01727 0.18288 0.09238 0.50801
LDOF 67 0.12857 0.03205 0.11675 0.01892 0.18595 0.09578 0.50768
LDOF 100 0.13571 0.03999 0.12343 0.02635 0.18460 0.09429 0.51406
ODIN 10 0.08227 -0.01938 0.10917 0.01050 0.20662 0.11874 0.56447
ODIN 39 0.07712 -0.02510 0.10591 0.00688 0.20917 0.12157 0.55609
ODIN 79 0.10119 0.00164 0.11135 0.01292 0.20192 0.11353 0.55757
ODIN 83 0.11786 0.02015 0.11078 0.01229 0.20111 0.11263 0.55426
FastABOD 12 0.30000 0.22247 0.26873 0.18773 0.32673 0.25216 0.75169
FastABOD 30 0.30000 0.22247 0.26910 0.18814 0.32767 0.25321 0.74959
FastABOD 46 0.30357 0.22644 0.26890 0.18793 0.32665 0.25207 0.74929
FastABOD 97 0.29643 0.21850 0.26926 0.18833 0.32703 0.25249 0.74936
KDEOS 62 0.10357 0.00428 0.11555 0.01759 0.21311 0.12596 0.57194
KDEOS 83 0.13214 0.03602 0.12070 0.02331 0.20763 0.11987 0.57738
KDEOS 85 0.12500 0.02809 0.12098 0.02362 0.20678 0.11893 0.57679
KDEOS 100 0.12143 0.02412 0.12047 0.02306 0.21214 0.12488 0.58036
LDF 84 0.26071 0.17883 0.24761 0.16427 0.28447 0.20522 0.69838
LDF 98 0.26786 0.18677 0.23941 0.15516 0.29096 0.21242 0.71025
LDF 100 0.26429 0.18280 0.23853 0.15419 0.29205 0.21363 0.71111
INFLO 96 0.17857 0.08759 0.16622 0.07388 0.28354 0.20419 0.61384
INFLO 100 0.17857 0.08759 0.17016 0.07824 0.29416 0.21598 0.62591
COF 99 0.23214 0.14710 0.21832 0.13174 0.25063 0.16763 0.61609
COF 100 0.23214 0.14710 0.21953 0.13308 0.25430 0.17171 0.61821

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 57 attributes, 3097 objects, 309 outliers (9.98%)

Download raw algorithm results (25.4 MB) Download raw algorithm evaluation table (73.0 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 3 0.35922 0.28820 0.33090 0.25675 0.37795 0.30901 0.77499
KNN 4 0.36893 0.29899 0.32826 0.25381 0.36991 0.30007 0.77570
KNN 7 0.35922 0.28820 0.32887 0.25449 0.37390 0.30451 0.77970
KNNW 6 0.35922 0.28820 0.32967 0.25537 0.37552 0.30631 0.77729
KNNW 7 0.36246 0.29180 0.32991 0.25564 0.37535 0.30612 0.77789
KNNW 8 0.36246 0.29180 0.33013 0.25589 0.37518 0.30593 0.77821
LOF 83 0.18447 0.09408 0.16323 0.07049 0.23285 0.14783 0.62869
LOF 100 0.18123 0.09048 0.17758 0.08643 0.25469 0.17209 0.65096
SimplifiedLOF 57 0.17152 0.07970 0.13014 0.03373 0.22972 0.14435 0.60121
SimplifiedLOF 82 0.19094 0.10127 0.13650 0.04079 0.22048 0.13409 0.60665
SimplifiedLOF 100 0.18123 0.09048 0.15193 0.05794 0.22314 0.13704 0.61730
LoOP 63 0.17799 0.08689 0.12399 0.02690 0.21321 0.12601 0.58377
LoOP 97 0.16828 0.07610 0.13927 0.04387 0.21969 0.13321 0.58982
LoOP 100 0.17152 0.07970 0.14090 0.04569 0.21833 0.13169 0.59213
LDOF 2 0.15858 0.06532 0.12378 0.02667 0.19270 0.10323 0.49221
LDOF 69 0.13916 0.04375 0.11021 0.01159 0.19653 0.10748 0.54366
LDOF 99 0.15534 0.06172 0.11828 0.02056 0.19325 0.10384 0.54571
ODIN 19 0.08965 -0.01125 0.11588 0.01789 0.21540 0.12844 0.59199
ODIN 25 0.08767 -0.01344 0.11443 0.01628 0.22013 0.13370 0.58913
ODIN 100 0.11859 0.02090 0.11714 0.01929 0.20326 0.11496 0.57646
FastABOD 46 0.30744 0.23069 0.27306 0.19249 0.34638 0.27394 0.77914
FastABOD 87 0.30744 0.23069 0.29410 0.21586 0.34862 0.27643 0.78153
FastABOD 96 0.30744 0.23069 0.29432 0.21611 0.35015 0.27812 0.78148
FastABOD 100 0.30744 0.23069 0.29407 0.21583 0.35084 0.27889 0.78142
KDEOS 3 0.11003 0.01140 0.10258 0.00312 0.18313 0.09259 0.50162
KDEOS 100 0.08414 -0.01736 0.12611 0.02925 0.23950 0.15521 0.61301
LDF 99 0.30744 0.23069 0.25656 0.17416 0.31472 0.23877 0.71182
LDF 100 0.31068 0.23428 0.25627 0.17385 0.31186 0.23560 0.71271
INFLO 96 0.18447 0.09408 0.16184 0.06895 0.29244 0.21402 0.63473
INFLO 100 0.18123 0.09048 0.16349 0.07078 0.29000 0.21131 0.63024
COF 92 0.16828 0.07610 0.16476 0.07219 0.25591 0.17344 0.64880
COF 96 0.17799 0.08689 0.17877 0.08776 0.25328 0.17051 0.65024
COF 100 0.17152 0.07970 0.18728 0.09720 0.25221 0.16933 0.65285

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO