Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

SpamBase (10% of outliers version#06)

A data set representing emails classified as spam (outliers) or nonspam.

Download all data set variants used (25.4 MB). You can also access the original data. (spambase.data)

Normalized, without duplicates

This version contains 57 attributes, 2808 objects, 280 outliers (9.97%)

Download raw algorithm results (25.1 MB) Download raw algorithm evaluation table (70.2 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.23571 0.15106 0.19155 0.10200 0.28463 0.20540 0.67520
KNN 3 0.22143 0.13519 0.19290 0.10350 0.28541 0.20626 0.70258
KNN 4 0.22857 0.14313 0.19286 0.10346 0.29019 0.21157 0.70652
KNN 6 0.22857 0.14313 0.19098 0.10138 0.29126 0.21276 0.70071
KNNW 1 0.23929 0.15503 0.17980 0.08896 0.26455 0.18309 0.61403
KNNW 8 0.22143 0.13519 0.19093 0.10132 0.29176 0.21332 0.69472
KNNW 10 0.22857 0.14313 0.19073 0.10109 0.28505 0.20586 0.69555
LOF 26 0.11071 0.01222 0.14403 0.04923 0.27709 0.19702 0.67076
LOF 93 0.16429 0.07172 0.16383 0.07122 0.27188 0.19123 0.66768
LOF 96 0.17143 0.07966 0.16326 0.07058 0.27468 0.19434 0.66657
SimplifiedLOF 1 0.15357 0.05982 0.11650 0.01864 0.18227 0.09170 0.52336
SimplifiedLOF 38 0.10000 0.00032 0.12832 0.03178 0.24464 0.16098 0.63397
SimplifiedLOF 49 0.10357 0.00428 0.12802 0.03144 0.24637 0.16290 0.63165
SimplifiedLOF 100 0.12857 0.03205 0.14040 0.04519 0.24189 0.15792 0.62599
LoOP 93 0.18214 0.09156 0.15974 0.06668 0.26206 0.18032 0.65612
LoOP 100 0.17500 0.08362 0.16063 0.06766 0.26859 0.18757 0.65924
LDOF 5 0.16429 0.07172 0.12372 0.02667 0.18997 0.10026 0.54421
LDOF 50 0.13214 0.03602 0.13796 0.04249 0.23737 0.15290 0.64085
LDOF 63 0.12500 0.02809 0.13940 0.04408 0.24504 0.16142 0.63982
LDOF 100 0.15357 0.05982 0.15273 0.05889 0.23774 0.15331 0.63636
ODIN 85 0.16413 0.07155 0.15213 0.05822 0.24357 0.15979 0.63023
ODIN 100 0.17857 0.08759 0.15381 0.06008 0.23883 0.15452 0.63347
FastABOD 6 0.21429 0.12726 0.16329 0.07061 0.25241 0.16961 0.63655
FastABOD 18 0.21786 0.13123 0.16178 0.06894 0.23915 0.15488 0.63396
FastABOD 62 0.20714 0.11933 0.16794 0.07578 0.23884 0.15454 0.63743
FastABOD 78 0.21429 0.12726 0.16764 0.07544 0.23570 0.15104 0.63825
KDEOS 20 0.15357 0.05982 0.12949 0.03308 0.19001 0.10030 0.54847
KDEOS 21 0.14286 0.04792 0.12995 0.03359 0.19068 0.10104 0.55104
KDEOS 39 0.11429 0.01618 0.10993 0.01135 0.19984 0.11122 0.55378
KDEOS 92 0.08571 -0.01555 0.10591 0.00689 0.21294 0.12577 0.54351
LDF 6 0.14286 0.04792 0.15085 0.05680 0.27483 0.19451 0.68318
LDF 7 0.15000 0.05585 0.15046 0.05636 0.26510 0.18370 0.68373
LDF 69 0.19643 0.10743 0.14528 0.05061 0.21478 0.12781 0.61340
INFLO 71 0.18929 0.09949 0.16259 0.06984 0.27736 0.19732 0.66390
INFLO 75 0.18929 0.09949 0.16441 0.07186 0.28233 0.20284 0.66771
INFLO 91 0.16786 0.07569 0.16610 0.07373 0.27336 0.19287 0.67079
INFLO 92 0.16786 0.07569 0.16602 0.07365 0.27483 0.19452 0.67134
COF 33 0.14286 0.04792 0.14271 0.04776 0.25418 0.17157 0.65241
COF 40 0.12857 0.03205 0.14228 0.04728 0.25826 0.17610 0.65651
COF 54 0.12857 0.03205 0.13611 0.04043 0.26424 0.18275 0.64510
COF 97 0.15714 0.06379 0.13206 0.03593 0.22770 0.14216 0.60815

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 57 attributes, 3097 objects, 309 outliers (9.98%)

Download raw algorithm results (25.7 MB) Download raw algorithm evaluation table (75.0 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.27832 0.19833 0.23077 0.14552 0.35443 0.28288 0.75854
KNN 5 0.26861 0.18755 0.22640 0.14066 0.34539 0.27284 0.76246
KNN 6 0.28479 0.20552 0.22757 0.14196 0.34116 0.26813 0.75986
KNNW 1 0.27832 0.19833 0.21585 0.12894 0.32552 0.25077 0.68906
KNNW 5 0.27184 0.19114 0.22651 0.14079 0.33409 0.26029 0.74788
KNNW 10 0.27184 0.19114 0.22567 0.13985 0.33248 0.25849 0.75804
KNNW 11 0.26861 0.18755 0.22531 0.13945 0.34043 0.26732 0.75767
LOF 11 0.18123 0.09048 0.15353 0.05972 0.27287 0.19228 0.68290
LOF 15 0.17152 0.07970 0.15823 0.06494 0.28535 0.20615 0.69576
LOF 21 0.11974 0.02218 0.15106 0.05697 0.29242 0.21400 0.69342
SimplifiedLOF 2 0.12945 0.03296 0.11261 0.01426 0.19287 0.10341 0.53576
SimplifiedLOF 24 0.11003 0.01140 0.13653 0.04083 0.26519 0.18375 0.65450
SimplifiedLOF 40 0.08738 -0.01377 0.13505 0.03918 0.26045 0.17848 0.66019
SimplifiedLOF 81 0.07767 -0.02455 0.12836 0.03176 0.26580 0.18442 0.64025
LoOP 13 0.17152 0.07970 0.14460 0.04979 0.25303 0.17024 0.64689
LoOP 23 0.16181 0.06891 0.15296 0.05908 0.26648 0.18518 0.67099
LoOP 51 0.11650 0.01859 0.14527 0.05054 0.26667 0.18539 0.67720
LoOP 66 0.10680 0.00780 0.14321 0.04825 0.27133 0.19057 0.67517
LDOF 13 0.16505 0.07251 0.13408 0.03811 0.23612 0.15146 0.61677
LDOF 73 0.12298 0.02578 0.14409 0.04923 0.26809 0.18697 0.67472
LDOF 97 0.12945 0.03296 0.14537 0.05065 0.26124 0.17936 0.67075
ODIN 91 0.18123 0.09048 0.16586 0.07342 0.27816 0.19815 0.67059
ODIN 95 0.17912 0.08814 0.16662 0.07425 0.27676 0.19660 0.67105
ODIN 100 0.18447 0.09408 0.16532 0.07281 0.27474 0.19435 0.67017
FastABOD 20 0.20065 0.11205 0.16569 0.07322 0.28443 0.20512 0.67313
FastABOD 21 0.20388 0.11565 0.16583 0.07338 0.28471 0.20543 0.67312
FastABOD 26 0.20712 0.11924 0.16509 0.07256 0.28141 0.20176 0.67245
FastABOD 99 0.20065 0.11205 0.16959 0.07755 0.28297 0.20350 0.67153
KDEOS 9 0.16505 0.07251 0.12371 0.02659 0.20062 0.11202 0.56687
KDEOS 52 0.11003 0.01140 0.11378 0.01555 0.22037 0.13396 0.58226
KDEOS 62 0.10680 0.00780 0.11598 0.01801 0.21825 0.13160 0.59171
LDF 5 0.20065 0.11205 0.17629 0.08500 0.29050 0.21186 0.70003
LDF 6 0.17799 0.08689 0.17436 0.08286 0.29644 0.21846 0.71632
LDF 7 0.18123 0.09048 0.17685 0.08562 0.29101 0.21243 0.72008
LDF 8 0.15858 0.06532 0.17172 0.07992 0.29481 0.21665 0.72497
INFLO 14 0.17152 0.07970 0.15134 0.05729 0.26524 0.18381 0.67069
INFLO 15 0.17152 0.07970 0.15218 0.05821 0.26786 0.18671 0.67384
INFLO 24 0.11650 0.01859 0.14737 0.05288 0.26929 0.18831 0.67870
INFLO 49 0.09061 -0.01017 0.13899 0.04356 0.27511 0.19477 0.67376
COF 22 0.16828 0.07610 0.15778 0.06444 0.28198 0.20241 0.68311
COF 34 0.14239 0.04734 0.15783 0.06449 0.29515 0.21703 0.69181
COF 39 0.14887 0.05453 0.15976 0.06663 0.28771 0.20877 0.69699

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 57 attributes, 2808 objects, 280 outliers (9.97%)

Download raw algorithm results (24.4 MB) Download raw algorithm evaluation table (67.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 3 0.32143 0.24627 0.29086 0.21231 0.35105 0.27917 0.75268
KNN 4 0.33571 0.26214 0.29055 0.21197 0.35345 0.28184 0.75072
KNNW 6 0.32500 0.25024 0.28960 0.21092 0.34870 0.27657 0.75115
KNNW 8 0.33214 0.25817 0.28840 0.20958 0.35040 0.27846 0.75138
KNNW 9 0.33214 0.25817 0.28749 0.20857 0.35102 0.27914 0.75123
KNNW 14 0.32857 0.25420 0.28375 0.20442 0.34375 0.27106 0.75161
LOF 84 0.17143 0.07966 0.16966 0.07769 0.23635 0.15177 0.63225
LOF 100 0.15357 0.05982 0.17537 0.08404 0.25000 0.16693 0.64495
SimplifiedLOF 56 0.18571 0.09552 0.16202 0.06920 0.21098 0.12358 0.58772
SimplifiedLOF 100 0.17143 0.07966 0.17455 0.08313 0.22506 0.13923 0.61030
LoOP 98 0.16071 0.06776 0.14871 0.05442 0.20769 0.11994 0.57412
LoOP 100 0.16071 0.06776 0.14928 0.05506 0.20700 0.11917 0.57597
LDOF 5 0.14643 0.05189 0.11481 0.01677 0.18164 0.09100 0.48199
LDOF 96 0.12143 0.02412 0.12392 0.02689 0.18685 0.09679 0.50938
LDOF 99 0.12500 0.02809 0.12482 0.02788 0.18616 0.09601 0.51189
LDOF 100 0.12500 0.02809 0.12485 0.02792 0.18623 0.09610 0.51172
ODIN 13 0.08821 -0.01277 0.11072 0.01223 0.21021 0.12273 0.56959
ODIN 55 0.11327 0.01505 0.11085 0.01237 0.20706 0.11924 0.55034
ODIN 99 0.10036 0.00071 0.11492 0.01689 0.20344 0.11522 0.55219
FastABOD 3 0.29643 0.21850 0.27203 0.19140 0.32647 0.25187 0.75222
FastABOD 5 0.29643 0.21850 0.27359 0.19313 0.32773 0.25327 0.76001
FastABOD 6 0.28929 0.21057 0.27139 0.19068 0.32682 0.25226 0.76065
FastABOD 13 0.29286 0.21453 0.27100 0.19026 0.33263 0.25871 0.75811
KDEOS 77 0.13929 0.04395 0.12347 0.02639 0.20852 0.12086 0.58533
KDEOS 93 0.13929 0.04395 0.12601 0.02921 0.21515 0.12821 0.58847
KDEOS 95 0.12857 0.03205 0.12644 0.02969 0.21322 0.12608 0.58923
KDEOS 100 0.13571 0.03999 0.12629 0.02952 0.21387 0.12680 0.59043
LDF 84 0.26071 0.17883 0.24173 0.15774 0.30093 0.22350 0.71119
LDF 86 0.26429 0.18280 0.24544 0.16186 0.29658 0.21867 0.71179
LDF 99 0.27857 0.19867 0.24507 0.16146 0.29838 0.22066 0.72057
LDF 100 0.28214 0.20263 0.24217 0.15823 0.29630 0.21835 0.72056
INFLO 90 0.16429 0.07172 0.16011 0.06708 0.28277 0.20333 0.60286
INFLO 97 0.16071 0.06776 0.16356 0.07092 0.29106 0.21254 0.61708
INFLO 99 0.16071 0.06776 0.16415 0.07157 0.29106 0.21254 0.61228
COF 79 0.21071 0.12329 0.20981 0.12229 0.24301 0.15916 0.62864
COF 99 0.20357 0.11536 0.21930 0.13283 0.25574 0.17330 0.64898
COF 100 0.20000 0.11139 0.21896 0.13245 0.25686 0.17455 0.64818

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 57 attributes, 3097 objects, 309 outliers (9.98%)

Download raw algorithm results (25.3 MB) Download raw algorithm evaluation table (72.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 5 0.35599 0.28461 0.31449 0.23851 0.36672 0.29654 0.77890
KNN 6 0.35922 0.28820 0.31351 0.23742 0.36364 0.29311 0.77806
KNN 7 0.35599 0.28461 0.31062 0.23421 0.36303 0.29243 0.77946
KNNW 6 0.33981 0.26664 0.31393 0.23790 0.36608 0.29583 0.78011
KNNW 8 0.34304 0.27023 0.31671 0.24098 0.36592 0.29565 0.78091
KNNW 9 0.34304 0.27023 0.31675 0.24103 0.36490 0.29451 0.78025
LOF 83 0.17476 0.08329 0.15852 0.06526 0.25273 0.16991 0.64433
LOF 99 0.17476 0.08329 0.17042 0.07848 0.26064 0.17869 0.65989
LOF 100 0.17476 0.08329 0.17100 0.07912 0.26059 0.17864 0.66057
SimplifiedLOF 78 0.17152 0.07970 0.13387 0.03787 0.22892 0.14345 0.61841
SimplifiedLOF 100 0.15858 0.06532 0.14835 0.05396 0.23545 0.15071 0.63001
LoOP 2 0.16505 0.07251 0.13665 0.04096 0.21558 0.12864 0.55300
LoOP 97 0.14887 0.05453 0.13596 0.04020 0.22253 0.13636 0.60434
LoOP 100 0.15210 0.05813 0.13749 0.04189 0.22206 0.13584 0.60631
LDOF 3 0.16828 0.07610 0.11742 0.01961 0.19144 0.10182 0.49631
LDOF 84 0.12298 0.02578 0.11205 0.01363 0.19685 0.10784 0.54765
LDOF 100 0.12621 0.02937 0.11582 0.01782 0.19554 0.10638 0.55359
ODIN 2 0.12542 0.02849 0.11799 0.02023 0.20340 0.11511 0.57831
ODIN 11 0.10814 0.00930 0.12038 0.02289 0.21790 0.13122 0.59787
ODIN 18 0.09999 0.00024 0.11924 0.02162 0.22431 0.13834 0.59874
FastABOD 8 0.27184 0.19114 0.24168 0.15763 0.32248 0.24738 0.74739
FastABOD 70 0.28479 0.20552 0.27277 0.19217 0.33622 0.26265 0.74676
FastABOD 97 0.28479 0.20552 0.27409 0.19363 0.33759 0.26417 0.74701
FastABOD 100 0.28479 0.20552 0.27416 0.19371 0.33759 0.26417 0.74703
KDEOS 94 0.13592 0.04015 0.13345 0.03741 0.23423 0.14936 0.62217
KDEOS 98 0.14563 0.05094 0.13607 0.04032 0.23338 0.14842 0.62517
KDEOS 99 0.14239 0.04734 0.13658 0.04088 0.23374 0.14881 0.62578
KDEOS 100 0.14563 0.05094 0.13691 0.04125 0.23306 0.14806 0.62548
LDF 86 0.31392 0.23788 0.26736 0.18616 0.31545 0.23958 0.70438
LDF 92 0.31068 0.23428 0.27114 0.19036 0.33585 0.26224 0.71790
LDF 99 0.31068 0.23428 0.27664 0.19647 0.32841 0.25398 0.72558
LDF 100 0.30744 0.23069 0.27771 0.19766 0.32971 0.25542 0.72547
INFLO 99 0.17152 0.07970 0.16076 0.06774 0.30130 0.22386 0.64778
INFLO 100 0.17152 0.07970 0.16168 0.06877 0.30386 0.22671 0.64939
COF 87 0.19094 0.10127 0.15255 0.05863 0.25400 0.17132 0.65472
COF 89 0.19741 0.10846 0.15547 0.06187 0.25252 0.16967 0.65702
COF 100 0.18770 0.09767 0.17150 0.07968 0.24978 0.16663 0.65954

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO