Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

SpamBase (10% of outliers version#01)

A data set representing emails classified as spam (outliers) or nonspam.

Download all data set variants used (25.4 MB). You can also access the original data. (spambase.data)

Normalized, without duplicates

This version contains 57 attributes, 2808 objects, 280 outliers (9.97%)

Download raw algorithm results (25.1 MB) Download raw algorithm evaluation table (69.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.22857 0.14313 0.19052 0.10087 0.28571 0.20660 0.68041
KNN 5 0.26786 0.18677 0.20131 0.11285 0.28390 0.20459 0.69713
KNN 6 0.27143 0.19073 0.20110 0.11261 0.28186 0.20232 0.70330
KNNW 7 0.25357 0.17090 0.19434 0.10511 0.28952 0.21083 0.68886
KNNW 10 0.25357 0.17090 0.19519 0.10604 0.28182 0.20227 0.69217
KNNW 11 0.25714 0.17486 0.19517 0.10603 0.28235 0.20287 0.69254
KNNW 14 0.27143 0.19073 0.19406 0.10480 0.27742 0.19739 0.69131
LOF 13 0.16071 0.06776 0.17045 0.07857 0.28084 0.20119 0.69524
LOF 23 0.13929 0.04395 0.16729 0.07506 0.30103 0.22362 0.70483
LOF 77 0.19643 0.10743 0.16716 0.07492 0.26141 0.17960 0.67538
SimplifiedLOF 7 0.15714 0.06379 0.13518 0.03939 0.22078 0.13447 0.59378
SimplifiedLOF 27 0.12857 0.03205 0.15137 0.05737 0.28085 0.20120 0.67331
SimplifiedLOF 28 0.12500 0.02809 0.15101 0.05697 0.28152 0.20194 0.67380
SimplifiedLOF 37 0.10714 0.00825 0.14862 0.05432 0.28719 0.20824 0.67131
LoOP 39 0.12500 0.02809 0.16679 0.07450 0.29066 0.21209 0.68753
LoOP 40 0.13214 0.03602 0.16632 0.07398 0.29170 0.21325 0.68656
LoOP 92 0.18929 0.09949 0.17597 0.08470 0.27662 0.19650 0.68278
LoOP 98 0.19643 0.10743 0.17582 0.08453 0.27764 0.19763 0.68208
LDOF 12 0.18571 0.09552 0.14856 0.05425 0.22867 0.14323 0.62343
LDOF 49 0.14286 0.04792 0.17165 0.07990 0.27027 0.18945 0.68059
LDOF 51 0.15357 0.05982 0.17185 0.08013 0.27312 0.19261 0.68001
LDOF 100 0.18214 0.09156 0.17361 0.08207 0.26111 0.17927 0.67186
ODIN 57 0.19009 0.10038 0.16753 0.07532 0.26320 0.18160 0.65999
ODIN 94 0.23214 0.14710 0.17208 0.08038 0.25806 0.17589 0.66569
ODIN 97 0.23135 0.14621 0.17161 0.07986 0.25957 0.17756 0.66594
FastABOD 4 0.21071 0.12329 0.16537 0.07293 0.25746 0.17522 0.64709
FastABOD 6 0.22143 0.13519 0.16904 0.07700 0.25294 0.17020 0.65049
FastABOD 12 0.22857 0.14313 0.16578 0.07339 0.24956 0.16644 0.63965
FastABOD 79 0.21071 0.12329 0.17369 0.08216 0.25465 0.17209 0.64092
KDEOS 80 0.14643 0.05189 0.12300 0.02586 0.22236 0.13623 0.59918
KDEOS 90 0.13571 0.03999 0.12710 0.03042 0.22487 0.13902 0.60735
KDEOS 100 0.13214 0.03602 0.12880 0.03231 0.22301 0.13696 0.60837
LDF 3 0.17143 0.07966 0.15296 0.05915 0.22570 0.13994 0.60526
LDF 4 0.16786 0.07569 0.16581 0.07341 0.24648 0.16302 0.63904
LDF 6 0.13571 0.03999 0.15830 0.06508 0.26974 0.18886 0.67005
LDF 7 0.14286 0.04792 0.16284 0.07012 0.26930 0.18836 0.68584
INFLO 24 0.14643 0.05189 0.16206 0.06925 0.28028 0.20056 0.69279
INFLO 35 0.11786 0.02015 0.15352 0.05977 0.28352 0.20416 0.67900
INFLO 56 0.17500 0.08362 0.17739 0.08628 0.28010 0.20036 0.68760
INFLO 76 0.19286 0.10346 0.17531 0.08396 0.27533 0.19507 0.68467
COF 30 0.17500 0.08362 0.16666 0.07436 0.27347 0.19300 0.67956
COF 31 0.17143 0.07966 0.16659 0.07429 0.27557 0.19533 0.67983
COF 34 0.18571 0.09552 0.16477 0.07226 0.27184 0.19119 0.67643

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 57 attributes, 3097 objects, 309 outliers (9.98%)

Download raw algorithm results (25.7 MB) Download raw algorithm evaluation table (75.0 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 3 0.26861 0.18755 0.21876 0.13218 0.32346 0.24847 0.74504
KNNW 10 0.25566 0.17317 0.21348 0.12630 0.31782 0.24221 0.73629
KNNW 11 0.26214 0.18036 0.21380 0.12667 0.31721 0.24154 0.73623
LOF 15 0.13916 0.04375 0.13862 0.04315 0.24311 0.15922 0.65484
LOF 24 0.09709 -0.00298 0.13577 0.03999 0.24945 0.16627 0.65929
LOF 43 0.08091 -0.02096 0.12933 0.03283 0.26288 0.18118 0.64739
SimplifiedLOF 1 0.13269 0.03656 0.11125 0.01275 0.19282 0.10336 0.54243
SimplifiedLOF 51 0.07443 -0.02815 0.12312 0.02594 0.24567 0.16207 0.63292
SimplifiedLOF 56 0.05825 -0.04612 0.12036 0.02287 0.24747 0.16407 0.62581
LoOP 24 0.14563 0.05094 0.13523 0.03939 0.22253 0.13636 0.62839
LoOP 25 0.14239 0.04734 0.13537 0.03954 0.22495 0.13905 0.62946
LoOP 62 0.08738 -0.01377 0.13042 0.03404 0.25325 0.17049 0.64623
LoOP 70 0.08738 -0.01377 0.12965 0.03319 0.25586 0.17338 0.64333
LDOF 13 0.12621 0.02937 0.11624 0.01829 0.20406 0.11584 0.56310
LDOF 76 0.08738 -0.01377 0.12889 0.03234 0.24645 0.16294 0.64089
LDOF 78 0.09385 -0.00658 0.13041 0.03404 0.24350 0.15965 0.64081
LDOF 79 0.09385 -0.00658 0.12976 0.03331 0.24340 0.15955 0.64099
ODIN 42 0.15117 0.05709 0.13479 0.03890 0.22450 0.13855 0.61801
ODIN 97 0.12783 0.03117 0.14505 0.05030 0.24746 0.16406 0.63537
ODIN 100 0.13107 0.03476 0.14584 0.05118 0.24693 0.16347 0.63748
FastABOD 9 0.17799 0.08689 0.14622 0.05159 0.25591 0.17344 0.64381
FastABOD 23 0.18447 0.09408 0.15212 0.05815 0.25238 0.16952 0.64890
FastABOD 74 0.18447 0.09408 0.15737 0.06398 0.25440 0.17176 0.65030
FastABOD 97 0.18447 0.09408 0.15912 0.06592 0.25284 0.17003 0.64965
KDEOS 30 0.14563 0.05094 0.12697 0.03022 0.21312 0.12591 0.59233
KDEOS 32 0.15534 0.06172 0.12588 0.02900 0.21472 0.12769 0.59439
KDEOS 63 0.08738 -0.01377 0.11822 0.02049 0.22060 0.13422 0.59831
KDEOS 64 0.09061 -0.01017 0.11698 0.01911 0.22137 0.13507 0.59804
LDF 5 0.12945 0.03296 0.14564 0.05095 0.26154 0.17969 0.65864
LDF 6 0.12621 0.02937 0.14715 0.05262 0.26255 0.18081 0.67315
LDF 7 0.10680 0.00780 0.14638 0.05177 0.26585 0.18448 0.67382
LDF 9 0.09061 -0.01017 0.13822 0.04271 0.26621 0.18488 0.66440
INFLO 15 0.14563 0.05094 0.13182 0.03560 0.22837 0.14285 0.62836
INFLO 17 0.14239 0.04734 0.13308 0.03700 0.23017 0.14484 0.63459
INFLO 50 0.06796 -0.03534 0.12641 0.02959 0.25075 0.16771 0.64205
INFLO 52 0.07443 -0.02815 0.12589 0.02901 0.25416 0.17149 0.64095
COF 26 0.14563 0.05094 0.13664 0.04095 0.24339 0.15954 0.64304
COF 41 0.11650 0.01859 0.13988 0.04456 0.26676 0.18549 0.66331
COF 50 0.09709 -0.00298 0.13903 0.04361 0.27459 0.19419 0.66130

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 57 attributes, 2808 objects, 280 outliers (9.97%)

Download raw algorithm results (24.4 MB) Download raw algorithm evaluation table (67.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.29464 0.21652 0.27899 0.19913 0.34133 0.26837 0.73735
KNN 3 0.28929 0.21057 0.27531 0.19504 0.33503 0.26137 0.74157
KNN 4 0.30357 0.22644 0.27020 0.18936 0.33062 0.25648 0.74068
KNN 10 0.28929 0.21057 0.25840 0.17626 0.34483 0.27226 0.73874
KNNW 4 0.29643 0.21850 0.27551 0.19527 0.33777 0.26442 0.73564
KNNW 13 0.28929 0.21057 0.26541 0.18405 0.34511 0.27257 0.73857
KNNW 18 0.28929 0.21057 0.25660 0.17426 0.34214 0.26928 0.73937
LOF 15 0.17143 0.07966 0.13920 0.04386 0.21631 0.12950 0.59532
LOF 96 0.15000 0.05585 0.15851 0.06531 0.23986 0.15566 0.63040
LOF 100 0.15000 0.05585 0.15968 0.06660 0.23942 0.15518 0.63411
SimplifiedLOF 16 0.18929 0.09949 0.14100 0.04586 0.21790 0.13127 0.58769
SimplifiedLOF 99 0.15357 0.05982 0.16509 0.07262 0.22757 0.14202 0.61798
SimplifiedLOF 100 0.15357 0.05982 0.16516 0.07270 0.22727 0.14169 0.61831
LoOP 23 0.18214 0.09156 0.13326 0.03726 0.20801 0.12029 0.59077
LoOP 24 0.17500 0.08362 0.13416 0.03826 0.21202 0.12474 0.59191
LoOP 85 0.15357 0.05982 0.14313 0.04822 0.21560 0.12872 0.58313
LoOP 100 0.15714 0.06379 0.14579 0.05118 0.21045 0.12301 0.58738
LDOF 44 0.16786 0.07569 0.11696 0.01915 0.19215 0.10267 0.53470
LDOF 54 0.16786 0.07569 0.11808 0.02040 0.19451 0.10530 0.53708
LDOF 100 0.15000 0.05585 0.12336 0.02626 0.18971 0.09996 0.54316
ODIN 14 0.12725 0.03059 0.11833 0.02068 0.21298 0.12581 0.58838
ODIN 17 0.12203 0.02479 0.11819 0.02053 0.21496 0.12801 0.58493
ODIN 24 0.10557 0.00651 0.12014 0.02268 0.21340 0.12627 0.58830
ODIN 59 0.14315 0.04825 0.11860 0.02097 0.20472 0.11664 0.57149
FastABOD 3 0.26786 0.18677 0.24756 0.16422 0.30523 0.22828 0.73345
FastABOD 8 0.27500 0.19470 0.24631 0.16283 0.31351 0.23748 0.73171
FastABOD 11 0.28214 0.20263 0.24462 0.16095 0.31203 0.23583 0.73051
KDEOS 76 0.15000 0.05585 0.13758 0.04205 0.22884 0.14343 0.61198
KDEOS 99 0.16429 0.07172 0.13934 0.04401 0.22884 0.14343 0.61327
KDEOS 100 0.16071 0.06776 0.13992 0.04466 0.22850 0.14305 0.61373
LDF 79 0.23929 0.15503 0.22793 0.14241 0.27049 0.18969 0.68861
LDF 91 0.25357 0.17090 0.21964 0.13321 0.26981 0.18894 0.69630
LDF 98 0.25357 0.17090 0.22334 0.13731 0.27738 0.19735 0.70199
LDF 99 0.25000 0.16693 0.22023 0.13386 0.27940 0.19959 0.70164
INFLO 18 0.18571 0.09552 0.13770 0.04219 0.25672 0.17439 0.60214
INFLO 100 0.15357 0.05982 0.15834 0.06512 0.29822 0.22049 0.63748
COF 84 0.17857 0.08759 0.20498 0.11692 0.24775 0.16443 0.63397
COF 86 0.17857 0.08759 0.20509 0.11705 0.24235 0.15843 0.63356
COF 100 0.18929 0.09949 0.20169 0.11327 0.24110 0.15704 0.63704

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 57 attributes, 3097 objects, 309 outliers (9.98%)

Download raw algorithm results (25.3 MB) Download raw algorithm evaluation table (72.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 3 0.33981 0.26664 0.33713 0.26367 0.35831 0.28719 0.77202
KNN 6 0.35922 0.28820 0.32957 0.25526 0.37465 0.30534 0.77251
KNN 7 0.36246 0.29180 0.33001 0.25576 0.37274 0.30322 0.77318
KNNW 7 0.34951 0.27742 0.33432 0.26054 0.36796 0.29791 0.76945
KNNW 12 0.35922 0.28820 0.33019 0.25595 0.37099 0.30128 0.77028
KNNW 25 0.34304 0.27023 0.31105 0.23469 0.37640 0.30729 0.77155
KNNW 61 0.33657 0.26304 0.29372 0.21544 0.36179 0.29106 0.77330
LOF 99 0.16181 0.06891 0.16918 0.07710 0.24821 0.16489 0.64139
LOF 100 0.16505 0.07251 0.17036 0.07840 0.24801 0.16466 0.64288
SimplifiedLOF 81 0.16828 0.07610 0.12991 0.03347 0.21090 0.12344 0.59731
SimplifiedLOF 96 0.16505 0.07251 0.14556 0.05086 0.22167 0.13540 0.60601
SimplifiedLOF 100 0.16505 0.07251 0.14942 0.05515 0.21968 0.13320 0.60874
LoOP 5 0.15534 0.06172 0.11821 0.02048 0.19111 0.10146 0.54583
LoOP 99 0.14239 0.04734 0.13422 0.03826 0.20993 0.12237 0.58111
LoOP 100 0.14239 0.04734 0.13468 0.03877 0.21038 0.12286 0.58111
LDOF 2 0.15534 0.06172 0.12884 0.03228 0.18473 0.09437 0.49513
LDOF 69 0.12298 0.02578 0.10397 0.00467 0.19120 0.10156 0.51889
LDOF 100 0.11974 0.02218 0.11398 0.01579 0.18873 0.09881 0.53125
ODIN 10 0.08675 -0.01447 0.11207 0.01366 0.21634 0.12949 0.57761
ODIN 11 0.09211 -0.00852 0.11305 0.01474 0.21162 0.12425 0.57959
ODIN 58 0.11650 0.01859 0.11000 0.01136 0.21045 0.12294 0.56269
ODIN 100 0.10610 0.00703 0.11585 0.01786 0.21053 0.12303 0.57953
FastABOD 75 0.33981 0.26664 0.30367 0.22650 0.34706 0.27469 0.76549
FastABOD 97 0.33981 0.26664 0.30421 0.22709 0.35155 0.27968 0.76570
FastABOD 100 0.33981 0.26664 0.30436 0.22726 0.35155 0.27968 0.76576
KDEOS 3 0.14887 0.05453 0.11422 0.01605 0.19127 0.10163 0.52574
KDEOS 53 0.09709 -0.00298 0.11184 0.01340 0.21463 0.12758 0.57138
KDEOS 100 0.11003 0.01140 0.12127 0.02387 0.21145 0.12406 0.58651
LDF 90 0.30421 0.22709 0.24604 0.16248 0.30719 0.23040 0.69123
LDF 99 0.29773 0.21990 0.25579 0.17331 0.31068 0.23428 0.71002
LDF 100 0.29773 0.21990 0.25292 0.17012 0.31356 0.23748 0.71003
INFLO 89 0.16828 0.07610 0.15175 0.05773 0.28277 0.20327 0.61967
INFLO 93 0.16505 0.07251 0.15554 0.06195 0.28941 0.21065 0.62950
INFLO 100 0.15858 0.06532 0.15722 0.06381 0.28660 0.20754 0.62193
COF 68 0.17799 0.08689 0.13349 0.03745 0.21456 0.12751 0.59636
COF 88 0.17152 0.07970 0.14889 0.05456 0.23447 0.14963 0.61790
COF 98 0.16505 0.07251 0.17011 0.07813 0.23181 0.14667 0.63052
COF 100 0.16828 0.07610 0.17350 0.08190 0.22967 0.14430 0.63042

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO