Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

SpamBase (20% of outliers version#05)

A data set representing emails classified as spam (outliers) or nonspam.

Download all data set variants used (25.4 MB). You can also access the original data. (spambase.data)

Normalized, without duplicates

This version contains 57 attributes, 3160 objects, 632 outliers (20.00%)

Download raw algorithm results (28.3 MB) Download raw algorithm evaluation table (72.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.30538 0.13172 0.26364 0.07954 0.35633 0.19542 0.57992
KNN 7 0.28481 0.10601 0.28055 0.10069 0.40693 0.25867 0.65495
KNNW 1 0.29430 0.11788 0.23789 0.04737 0.33333 0.16667 0.51456
KNNW 14 0.28323 0.10403 0.27084 0.08854 0.39088 0.23860 0.63814
KNNW 25 0.27373 0.09217 0.27053 0.08816 0.39984 0.24980 0.64437
KNNW 27 0.28006 0.10008 0.27031 0.08789 0.39920 0.24900 0.64446
LOF 86 0.24842 0.06052 0.24239 0.05299 0.37113 0.21391 0.59320
LOF 87 0.25000 0.06250 0.24228 0.05285 0.37298 0.21622 0.59346
LOF 96 0.26108 0.07634 0.24115 0.05144 0.37187 0.21484 0.59232
SimplifiedLOF 2 0.25316 0.06646 0.23040 0.03800 0.33386 0.16733 0.50634
SimplifiedLOF 4 0.25633 0.07041 0.22495 0.03118 0.33430 0.16788 0.52235
SimplifiedLOF 47 0.18671 -0.01661 0.21208 0.01509 0.35565 0.19457 0.54891
SimplifiedLOF 89 0.16930 -0.03837 0.21892 0.02364 0.36209 0.20261 0.54159
LoOP 97 0.23734 0.04668 0.23353 0.04191 0.36376 0.20470 0.57153
LoOP 99 0.23892 0.04866 0.23380 0.04225 0.36234 0.20292 0.57187
LoOP 100 0.23892 0.04866 0.23383 0.04229 0.36220 0.20275 0.57207
LDOF 5 0.23734 0.04668 0.21559 0.01948 0.33369 0.16711 0.50909
LDOF 69 0.21361 0.01701 0.22491 0.03113 0.35600 0.19500 0.55715
LDOF 95 0.20886 0.01108 0.22673 0.03341 0.35913 0.19891 0.55630
LDOF 98 0.21835 0.02294 0.22680 0.03350 0.35693 0.19616 0.55596
ODIN 29 0.23517 0.04397 0.22305 0.02881 0.36060 0.20075 0.56287
ODIN 96 0.25536 0.06920 0.24317 0.05397 0.35433 0.19292 0.58864
ODIN 99 0.25142 0.06427 0.24332 0.05415 0.35397 0.19247 0.58897
ODIN 100 0.25111 0.06389 0.24316 0.05395 0.35507 0.19384 0.58902
FastABOD 3 0.25949 0.07437 0.23403 0.04254 0.33982 0.17477 0.54954
FastABOD 4 0.27690 0.09612 0.23321 0.04151 0.33983 0.17478 0.54916
FastABOD 58 0.26266 0.07832 0.23323 0.04154 0.34022 0.17527 0.53996
KDEOS 76 0.18513 -0.01859 0.20327 0.00408 0.35115 0.18893 0.53319
KDEOS 97 0.22468 0.03085 0.20853 0.01066 0.34870 0.18588 0.54006
KDEOS 99 0.22152 0.02690 0.20940 0.01175 0.35032 0.18790 0.54204
KDEOS 100 0.22468 0.03085 0.20950 0.01188 0.34940 0.18675 0.54163
LDF 3 0.25475 0.06843 0.22535 0.03169 0.34054 0.17568 0.53315
LDF 99 0.22468 0.03085 0.24225 0.05282 0.39311 0.24139 0.61177
LDF 100 0.22152 0.02690 0.24201 0.05252 0.39424 0.24280 0.61174
INFLO 80 0.25475 0.06843 0.23897 0.04871 0.36339 0.20423 0.58710
INFLO 98 0.24684 0.05854 0.24007 0.05008 0.36740 0.20925 0.59158
INFLO 99 0.25000 0.06250 0.23992 0.04990 0.36824 0.21030 0.59154
INFLO 100 0.24842 0.06052 0.23981 0.04976 0.36804 0.21005 0.59172
COF 2 0.25316 0.06646 0.22623 0.03278 0.33377 0.16722 0.50696
COF 8 0.25791 0.07239 0.21185 0.01481 0.33333 0.16667 0.50648
COF 44 0.22152 0.02690 0.21198 0.01497 0.33934 0.17417 0.53545
COF 70 0.18829 -0.01464 0.20334 0.00417 0.34853 0.18566 0.52130

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 57 attributes, 3485 objects, 697 outliers (20.00%)

Download raw algorithm results (29.1 MB) Download raw algorithm evaluation table (74.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 5 0.31133 0.13917 0.27835 0.09794 0.40768 0.25960 0.64806
KNN 8 0.29986 0.12482 0.27980 0.09975 0.41071 0.26339 0.66282
KNN 10 0.29412 0.11765 0.27549 0.09436 0.41126 0.26408 0.66211
KNN 11 0.29555 0.11944 0.27599 0.09499 0.41029 0.26287 0.66301
KNNW 14 0.29412 0.11765 0.27256 0.09069 0.40071 0.25088 0.64675
KNNW 15 0.29555 0.11944 0.27242 0.09052 0.40073 0.25091 0.64734
KNNW 26 0.29125 0.11406 0.26715 0.08393 0.40921 0.26151 0.64953
KNNW 30 0.28264 0.10330 0.26637 0.08296 0.40816 0.26020 0.64980
LOF 5 0.25825 0.07281 0.22913 0.03641 0.34405 0.18006 0.55097
LOF 15 0.21664 0.02080 0.21892 0.02365 0.35904 0.19881 0.56805
LOF 36 0.18938 -0.01327 0.20744 0.00930 0.36802 0.21003 0.55616
SimplifiedLOF 2 0.25395 0.06743 0.22613 0.03266 0.33397 0.16747 0.52118
SimplifiedLOF 44 0.17217 -0.03479 0.19937 -0.00078 0.35446 0.19308 0.53530
SimplifiedLOF 53 0.15638 -0.05452 0.19591 -0.00512 0.35776 0.19720 0.52877
LoOP 2 0.24677 0.05846 0.23329 0.04162 0.33333 0.16667 0.53892
LoOP 7 0.25108 0.06385 0.22598 0.03248 0.33548 0.16935 0.54800
LoOP 44 0.19799 -0.00251 0.21177 0.01471 0.35993 0.19991 0.55344
LoOP 88 0.16356 -0.04555 0.20610 0.00763 0.36095 0.20119 0.53549
LDOF 2 0.24103 0.05129 0.22257 0.02821 0.33333 0.16667 0.49473
LDOF 3 0.25538 0.06923 0.22249 0.02811 0.33333 0.16667 0.49052
LDOF 77 0.18795 -0.01506 0.20834 0.01043 0.36150 0.20187 0.54368
LDOF 79 0.18795 -0.01506 0.20983 0.01228 0.35949 0.19937 0.54462
ODIN 23 0.23923 0.04903 0.23447 0.04309 0.36428 0.20535 0.58045
ODIN 54 0.24641 0.05801 0.23978 0.04972 0.35852 0.19816 0.58432
ODIN 99 0.26465 0.08081 0.24078 0.05098 0.35235 0.19044 0.58346
FastABOD 3 0.24677 0.05846 0.21480 0.01850 0.34610 0.18262 0.54464
FastABOD 70 0.23673 0.04591 0.21833 0.02292 0.34881 0.18601 0.54598
FastABOD 76 0.23673 0.04591 0.21841 0.02302 0.34881 0.18601 0.54615
FastABOD 100 0.24103 0.05129 0.21890 0.02363 0.34881 0.18601 0.54606
KDEOS 4 0.21090 0.01363 0.21755 0.02194 0.33666 0.17083 0.50740
KDEOS 8 0.21951 0.02439 0.20311 0.00388 0.33747 0.17183 0.49267
KDEOS 63 0.21521 0.01901 0.21455 0.01818 0.34838 0.18548 0.55059
KDEOS 98 0.18508 -0.01865 0.20420 0.00525 0.35238 0.19047 0.54207
LDF 5 0.28551 0.10689 0.27706 0.09632 0.38587 0.23233 0.61690
INFLO 5 0.24821 0.06026 0.22069 0.02586 0.34105 0.17631 0.54494
INFLO 17 0.21377 0.01722 0.21236 0.01545 0.36439 0.20549 0.55580
INFLO 45 0.17647 -0.02941 0.20367 0.00459 0.36825 0.21031 0.54669
COF 2 0.25395 0.06743 0.23023 0.03779 0.34302 0.17878 0.53675
COF 41 0.22382 0.02977 0.21509 0.01887 0.33957 0.17446 0.54510
COF 90 0.15638 -0.05452 0.19168 -0.01040 0.34935 0.18669 0.49481

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 57 attributes, 3160 objects, 632 outliers (20.00%)

Download raw algorithm results (27.5 MB) Download raw algorithm evaluation table (72.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 7 0.42722 0.28402 0.42686 0.28357 0.44154 0.30193 0.72940
KNN 8 0.43038 0.28797 0.42387 0.27984 0.43971 0.29963 0.72923
KNN 65 0.40190 0.25237 0.40295 0.25369 0.44848 0.31060 0.73323
KNN 100 0.39873 0.24842 0.39764 0.24706 0.45101 0.31376 0.73183
KNNW 17 0.42405 0.28006 0.42272 0.27840 0.44105 0.30131 0.72583
KNNW 99 0.40190 0.25237 0.40634 0.25793 0.44217 0.30272 0.73210
KNNW 100 0.40190 0.25237 0.40619 0.25773 0.44195 0.30243 0.73213
LOF 87 0.31013 0.13766 0.29076 0.11345 0.37677 0.22097 0.63024
LOF 95 0.30538 0.13172 0.29477 0.11846 0.38012 0.22515 0.63547
LOF 100 0.30538 0.13172 0.29694 0.12118 0.37992 0.22490 0.63771
SimplifiedLOF 88 0.28639 0.10799 0.28227 0.10284 0.35821 0.19776 0.60071
SimplifiedLOF 94 0.29430 0.11788 0.28452 0.10565 0.35750 0.19688 0.60366
SimplifiedLOF 100 0.29114 0.11392 0.28771 0.10963 0.35781 0.19726 0.60646
LoOP 70 0.27690 0.09612 0.24119 0.05149 0.34587 0.18234 0.56979
LoOP 88 0.27373 0.09217 0.24930 0.06162 0.35153 0.18941 0.57621
LoOP 99 0.27532 0.09415 0.25349 0.06686 0.34937 0.18671 0.57937
LoOP 100 0.27532 0.09415 0.25375 0.06719 0.34993 0.18741 0.57894
LDOF 2 0.25158 0.06448 0.24867 0.06084 0.33430 0.16788 0.47937
LDOF 98 0.21203 0.01503 0.21134 0.01417 0.33626 0.17032 0.51570
LDOF 100 0.20886 0.01108 0.21199 0.01499 0.33599 0.16999 0.51660
ODIN 22 0.16588 -0.04266 0.21087 0.01359 0.36896 0.21120 0.55373
ODIN 80 0.22824 0.03530 0.21625 0.02032 0.35813 0.19766 0.56243
ODIN 88 0.23779 0.04724 0.21628 0.02035 0.35644 0.19554 0.56095
ODIN 100 0.23531 0.04413 0.21721 0.02152 0.35760 0.19699 0.56059
FastABOD 3 0.40032 0.25040 0.38862 0.23577 0.43756 0.29695 0.70825
FastABOD 27 0.38449 0.23062 0.38277 0.22847 0.45266 0.31583 0.70557
KDEOS 95 0.22152 0.02690 0.23179 0.03974 0.35953 0.19941 0.57768
KDEOS 99 0.21361 0.01701 0.23214 0.04018 0.36062 0.20077 0.57844
KDEOS 100 0.21361 0.01701 0.23181 0.03977 0.36096 0.20121 0.57850
LDF 96 0.39557 0.24446 0.40388 0.25485 0.43768 0.29710 0.71198
LDF 100 0.40665 0.25831 0.40528 0.25660 0.43579 0.29474 0.71430
INFLO 86 0.27848 0.09810 0.27160 0.08949 0.45657 0.32071 0.63534
INFLO 91 0.28006 0.10008 0.27400 0.09250 0.45895 0.32369 0.63401
INFLO 92 0.28481 0.10601 0.27394 0.09242 0.45895 0.32369 0.63246
INFLO 98 0.27848 0.09810 0.27477 0.09346 0.45664 0.32081 0.63108
COF 72 0.32437 0.15546 0.32733 0.15916 0.36364 0.20455 0.61235
COF 98 0.31646 0.14557 0.34819 0.18524 0.37968 0.22461 0.63121
COF 100 0.31804 0.14755 0.34928 0.18660 0.37841 0.22301 0.63181

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 57 attributes, 3485 objects, 697 outliers (20.00%)

Download raw algorithm results (28.6 MB) Download raw algorithm evaluation table (73.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 11 0.43615 0.29519 0.43048 0.28810 0.45049 0.31312 0.74656
KNN 13 0.43472 0.29340 0.43322 0.29153 0.45285 0.31606 0.74941
KNN 87 0.42037 0.27547 0.41234 0.26543 0.47314 0.34142 0.75564
KNN 88 0.42037 0.27547 0.41212 0.26515 0.47431 0.34289 0.75561
KNNW 18 0.43042 0.28802 0.42851 0.28564 0.45512 0.31890 0.73990
KNNW 22 0.43042 0.28802 0.42883 0.28603 0.45373 0.31716 0.74302
KNNW 95 0.42324 0.27905 0.41720 0.27149 0.46631 0.33288 0.75399
KNNW 100 0.42181 0.27726 0.41685 0.27106 0.46625 0.33282 0.75417
LOF 95 0.28694 0.10868 0.27186 0.08982 0.38170 0.22713 0.62495
LOF 98 0.28551 0.10689 0.27527 0.09409 0.38467 0.23084 0.62919
LOF 100 0.28407 0.10509 0.27682 0.09603 0.38437 0.23046 0.63133
SimplifiedLOF 2 0.24534 0.05667 0.21752 0.02190 0.33333 0.16667 0.49591
SimplifiedLOF 96 0.21521 0.01901 0.23078 0.03848 0.35352 0.19190 0.57040
SimplifiedLOF 100 0.21521 0.01901 0.23470 0.04337 0.35249 0.19061 0.57399
LoOP 1 0.23529 0.04412 0.23140 0.03925 0.33333 0.16667 0.50072
LoOP 86 0.19656 -0.00430 0.21343 0.01679 0.34932 0.18666 0.54846
LoOP 100 0.20803 0.01004 0.22311 0.02889 0.34542 0.18178 0.55534
LDOF 2 0.25538 0.06923 0.22800 0.03500 0.33333 0.16667 0.46722
LDOF 71 0.16356 -0.04555 0.18054 -0.02432 0.34230 0.17788 0.47238
LDOF 100 0.17360 -0.03300 0.19195 -0.01006 0.34119 0.17649 0.49023
ODIN 1 0.20401 0.00502 0.21578 0.01973 0.35511 0.19389 0.54845
ODIN 24 0.15797 -0.05254 0.20592 0.00740 0.37551 0.21939 0.55265
ODIN 99 0.20608 0.00760 0.21135 0.01419 0.36175 0.20218 0.55795
ODIN 100 0.20570 0.00713 0.21175 0.01469 0.36180 0.20225 0.55806
FastABOD 30 0.38451 0.23063 0.37961 0.22451 0.46169 0.32712 0.71653
FastABOD 70 0.39024 0.23780 0.39261 0.24076 0.45981 0.32476 0.71859
FastABOD 100 0.39024 0.23780 0.39402 0.24252 0.46108 0.32635 0.71905
KDEOS 3 0.21090 0.01363 0.20017 0.00021 0.33357 0.16697 0.47962
KDEOS 100 0.19943 -0.00072 0.21544 0.01931 0.35342 0.19177 0.54870
LDF 97 0.36729 0.20911 0.38421 0.23027 0.42022 0.27528 0.69570
LDF 99 0.37159 0.21449 0.38421 0.23027 0.41832 0.27290 0.69787
LDF 100 0.37303 0.21628 0.38522 0.23152 0.41899 0.27374 0.69726
INFLO 94 0.23529 0.04412 0.24909 0.06136 0.44342 0.30427 0.61557
INFLO 95 0.23386 0.04232 0.24925 0.06156 0.44506 0.30633 0.61491
INFLO 99 0.24103 0.05129 0.25074 0.06343 0.44061 0.30077 0.61135
COF 92 0.27547 0.09433 0.24436 0.05546 0.35632 0.19540 0.58199
COF 95 0.26829 0.08537 0.24853 0.06067 0.35942 0.19928 0.58421
COF 100 0.26686 0.08357 0.25843 0.07303 0.35772 0.19715 0.59014

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO