Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

SpamBase (10% of outliers version#08)

A data set representing emails classified as spam (outliers) or nonspam.

Download all data set variants used (25.4 MB). You can also access the original data. (spambase.data)

Normalized, without duplicates

This version contains 57 attributes, 2808 objects, 280 outliers (9.97%)

Download raw algorithm results (25.2 MB) Download raw algorithm evaluation table (69.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.21786 0.13123 0.18468 0.09438 0.29178 0.21333 0.69630
KNN 2 0.21786 0.13123 0.19275 0.10333 0.28993 0.21128 0.71869
KNN 8 0.22500 0.13916 0.18288 0.09237 0.27027 0.18945 0.69920
KNNW 2 0.23214 0.14710 0.18277 0.09226 0.28107 0.20144 0.67212
KNNW 5 0.22143 0.13519 0.18798 0.09805 0.27915 0.19931 0.70481
KNNW 7 0.21786 0.13123 0.18795 0.09801 0.28409 0.20480 0.70755
KNNW 8 0.21429 0.12726 0.18786 0.09791 0.28270 0.20325 0.70758
LOF 21 0.14286 0.04792 0.15161 0.05764 0.26736 0.18621 0.68527
LOF 34 0.10357 0.00428 0.14690 0.05241 0.27116 0.19043 0.66676
LOF 75 0.17857 0.08759 0.16775 0.07557 0.25773 0.17552 0.66202
LOF 80 0.16429 0.07172 0.16837 0.07626 0.26407 0.18256 0.66468
SimplifiedLOF 39 0.10357 0.00428 0.13915 0.04380 0.24891 0.16572 0.65090
SimplifiedLOF 46 0.10357 0.00428 0.13764 0.04213 0.25665 0.17432 0.64176
SimplifiedLOF 98 0.13929 0.04395 0.14990 0.05574 0.23166 0.14656 0.61986
SimplifiedLOF 100 0.13929 0.04395 0.15008 0.05595 0.22919 0.14382 0.62019
LoOP 39 0.13929 0.04395 0.14979 0.05562 0.25134 0.16842 0.66680
LoOP 72 0.15000 0.05585 0.16363 0.07099 0.26290 0.18126 0.65828
LoOP 97 0.18571 0.09552 0.16919 0.07717 0.25306 0.17032 0.65887
LoOP 100 0.18571 0.09552 0.16970 0.07774 0.25367 0.17100 0.65945
LDOF 18 0.15357 0.05982 0.13645 0.04080 0.22340 0.13738 0.61665
LDOF 54 0.13929 0.04395 0.15272 0.05887 0.25313 0.17040 0.65957
LDOF 56 0.14286 0.04792 0.15236 0.05848 0.25270 0.16993 0.65991
LDOF 100 0.15357 0.05982 0.16631 0.07397 0.23860 0.15427 0.64800
ODIN 88 0.18984 0.10010 0.16658 0.07427 0.26756 0.18643 0.65994
ODIN 99 0.18543 0.09521 0.16777 0.07559 0.26919 0.18824 0.66139
ODIN 100 0.18247 0.09192 0.16726 0.07503 0.27014 0.18930 0.66132
FastABOD 4 0.21429 0.12726 0.16768 0.07549 0.26558 0.18424 0.66334
FastABOD 6 0.21786 0.13123 0.16947 0.07748 0.26285 0.18120 0.66134
FastABOD 51 0.20000 0.11139 0.17421 0.08275 0.25316 0.17045 0.65298
KDEOS 16 0.12143 0.02412 0.12902 0.03255 0.20265 0.11434 0.56496
KDEOS 18 0.12857 0.03205 0.12507 0.02816 0.20712 0.11930 0.56901
KDEOS 42 0.10357 0.00428 0.11758 0.01985 0.21599 0.12916 0.59239
KDEOS 92 0.11071 0.01222 0.11697 0.01917 0.22382 0.13785 0.58306
LDF 7 0.17143 0.07966 0.15806 0.06481 0.28536 0.20620 0.69187
INFLO 72 0.18571 0.09552 0.17261 0.08097 0.26802 0.18695 0.66860
INFLO 74 0.19286 0.10346 0.17314 0.08156 0.26543 0.18407 0.66870
INFLO 80 0.18929 0.09949 0.17481 0.08341 0.26524 0.18386 0.67416
COF 32 0.14286 0.04792 0.15266 0.05881 0.26985 0.18898 0.66904
COF 34 0.13571 0.03999 0.15381 0.06008 0.26539 0.18403 0.66731
COF 39 0.12857 0.03205 0.15007 0.05593 0.27410 0.19370 0.66548
COF 96 0.17143 0.07966 0.14836 0.05403 0.21994 0.13355 0.61404

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 57 attributes, 3097 objects, 309 outliers (9.98%)

Download raw algorithm results (25.7 MB) Download raw algorithm evaluation table (74.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.20388 0.11565 0.18541 0.09512 0.30282 0.22555 0.71092
KNNW 2 0.19417 0.10486 0.16495 0.07240 0.24964 0.16648 0.64969
KNNW 8 0.17799 0.08689 0.17817 0.08708 0.28947 0.21072 0.70145
KNNW 10 0.17799 0.08689 0.17851 0.08747 0.28909 0.21029 0.70229
LOF 3 0.14239 0.04734 0.12012 0.02260 0.20826 0.12051 0.56486
LOF 15 0.13592 0.04015 0.13277 0.03665 0.23384 0.14892 0.63371
LOF 29 0.08414 -0.01736 0.12148 0.02411 0.23822 0.15379 0.61993
SimplifiedLOF 1 0.11974 0.02218 0.10687 0.00788 0.19355 0.10417 0.53951
SimplifiedLOF 15 0.10680 0.00780 0.11749 0.01968 0.21510 0.12811 0.58125
SimplifiedLOF 34 0.07767 -0.02455 0.11342 0.01516 0.22319 0.13710 0.59049
SimplifiedLOF 61 0.06796 -0.03534 0.10988 0.01123 0.22490 0.13899 0.58451
LoOP 4 0.14563 0.05094 0.11778 0.02000 0.20225 0.11383 0.56165
LoOP 20 0.12945 0.03296 0.12879 0.03223 0.21601 0.12912 0.60131
LoOP 35 0.10680 0.00780 0.12504 0.02807 0.22112 0.13479 0.60400
LoOP 65 0.08414 -0.01736 0.11976 0.02220 0.22889 0.14342 0.60054
LDOF 13 0.13916 0.04375 0.11550 0.01747 0.19839 0.10955 0.55158
LDOF 35 0.11327 0.01499 0.12196 0.02465 0.21764 0.13092 0.59257
LDOF 79 0.09061 -0.01017 0.12023 0.02273 0.22617 0.14040 0.59706
LDOF 98 0.10032 0.00061 0.12029 0.02279 0.22707 0.14140 0.59648
ODIN 35 0.14289 0.04790 0.13276 0.03664 0.22540 0.13954 0.60977
ODIN 50 0.12981 0.03336 0.13725 0.04163 0.23603 0.15136 0.61531
ODIN 53 0.12547 0.02854 0.13776 0.04219 0.23494 0.15014 0.61595
ODIN 100 0.13646 0.04075 0.13762 0.04204 0.23199 0.14687 0.61760
FastABOD 20 0.13592 0.04015 0.13432 0.03838 0.23679 0.15220 0.62333
FastABOD 48 0.12621 0.02937 0.13428 0.03833 0.24040 0.15621 0.62283
FastABOD 70 0.12621 0.02937 0.14100 0.04579 0.24010 0.15588 0.62364
FastABOD 100 0.11974 0.02218 0.14251 0.04747 0.23733 0.15280 0.62317
KDEOS 7 0.13916 0.04375 0.12113 0.02373 0.19162 0.10203 0.53594
KDEOS 8 0.15210 0.05813 0.11853 0.02084 0.19326 0.10385 0.53406
KDEOS 66 0.11003 0.01140 0.11630 0.01836 0.21935 0.13283 0.58246
KDEOS 67 0.10356 0.00421 0.11642 0.01850 0.21882 0.13224 0.58325
LDF 5 0.15858 0.06532 0.15661 0.06314 0.25641 0.17400 0.65700
LDF 7 0.15534 0.06172 0.16150 0.06857 0.27408 0.19362 0.68559
LDF 8 0.14887 0.05453 0.15558 0.06199 0.27818 0.19818 0.68409
INFLO 12 0.16181 0.06891 0.12925 0.03274 0.22337 0.13730 0.60718
INFLO 15 0.14563 0.05094 0.12970 0.03324 0.22247 0.13629 0.61094
INFLO 16 0.13916 0.04375 0.12779 0.03112 0.22316 0.13706 0.61210
INFLO 31 0.09385 -0.00658 0.11746 0.01965 0.22790 0.14233 0.60340
COF 5 0.12621 0.02937 0.11505 0.01697 0.19961 0.11090 0.55380
COF 22 0.11974 0.02218 0.12818 0.03155 0.22359 0.13754 0.60469
COF 39 0.10680 0.00780 0.12595 0.02907 0.23516 0.15040 0.61766
COF 52 0.10680 0.00780 0.12376 0.02665 0.23828 0.15386 0.61678

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 57 attributes, 2808 objects, 280 outliers (9.97%)

Download raw algorithm results (24.4 MB) Download raw algorithm evaluation table (68.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.31786 0.24230 0.29522 0.21716 0.33735 0.26395 0.74891
KNN 4 0.33571 0.26214 0.28115 0.20153 0.34139 0.26845 0.74110
KNN 8 0.32857 0.25420 0.28162 0.20205 0.35541 0.28402 0.74146
KNNW 3 0.31786 0.24230 0.29534 0.21729 0.33373 0.25994 0.74204
KNNW 4 0.32143 0.24627 0.29454 0.21640 0.33799 0.26466 0.74430
KNNW 7 0.33929 0.26611 0.28925 0.21052 0.34155 0.26862 0.74337
KNNW 24 0.32143 0.24627 0.27079 0.19003 0.35535 0.28394 0.74067
LOF 14 0.19286 0.10346 0.14116 0.04604 0.20737 0.11958 0.57625
LOF 99 0.15357 0.05982 0.17670 0.08551 0.25787 0.17567 0.64528
LOF 100 0.15357 0.05982 0.17664 0.08545 0.25892 0.17684 0.64550
SimplifiedLOF 18 0.20357 0.11536 0.14617 0.05160 0.20690 0.11905 0.57126
SimplifiedLOF 98 0.18214 0.09156 0.18253 0.09199 0.23782 0.15340 0.63006
SimplifiedLOF 100 0.18214 0.09156 0.18286 0.09235 0.23521 0.15051 0.63043
LoOP 30 0.19286 0.10346 0.14164 0.04657 0.20138 0.11293 0.57713
LoOP 96 0.18214 0.09156 0.15950 0.06641 0.22021 0.13384 0.59709
LoOP 100 0.18214 0.09156 0.16050 0.06752 0.22018 0.13381 0.60077
LDOF 50 0.17143 0.07966 0.12578 0.02895 0.18873 0.09887 0.52339
LDOF 93 0.15000 0.05585 0.13490 0.03908 0.19265 0.10322 0.54431
LDOF 98 0.14643 0.05189 0.13409 0.03819 0.19373 0.10443 0.54602
LDOF 100 0.15000 0.05585 0.13463 0.03878 0.19342 0.10408 0.54807
ODIN 24 0.08261 -0.01900 0.11022 0.01167 0.20966 0.12212 0.56376
ODIN 59 0.13929 0.04395 0.11638 0.01851 0.20023 0.11165 0.55812
ODIN 100 0.11726 0.01949 0.12005 0.02259 0.19969 0.11105 0.57095
FastABOD 10 0.28214 0.20263 0.27018 0.18935 0.32696 0.25242 0.74281
FastABOD 94 0.29643 0.21850 0.27266 0.19210 0.33228 0.25832 0.74021
FastABOD 98 0.30000 0.22247 0.27272 0.19217 0.33228 0.25832 0.74018
FastABOD 99 0.30000 0.22247 0.27273 0.19218 0.33192 0.25793 0.74020
KDEOS 86 0.13929 0.04395 0.12820 0.03164 0.21954 0.13310 0.60461
KDEOS 99 0.13214 0.03602 0.13037 0.03405 0.22196 0.13578 0.60809
KDEOS 100 0.12857 0.03205 0.13074 0.03446 0.22118 0.13491 0.60854
LDF 79 0.26786 0.18677 0.23881 0.15450 0.28756 0.20866 0.69366
LDF 95 0.27500 0.19470 0.23076 0.14556 0.29231 0.21392 0.69886
LDF 98 0.27143 0.19073 0.23246 0.14744 0.29375 0.21553 0.70151
LDF 99 0.27500 0.19470 0.22990 0.14460 0.29467 0.21655 0.70053
INFLO 33 0.18929 0.09949 0.15395 0.06024 0.25887 0.17678 0.58800
INFLO 70 0.17143 0.07966 0.16813 0.07599 0.28666 0.20765 0.63331
INFLO 76 0.17143 0.07966 0.16990 0.07796 0.29219 0.21380 0.63321
INFLO 84 0.17143 0.07966 0.17053 0.07865 0.28916 0.21042 0.63060
COF 85 0.18929 0.09949 0.23389 0.14904 0.27784 0.19785 0.66570
COF 98 0.21429 0.12726 0.23763 0.15319 0.27468 0.19434 0.67437
COF 100 0.21786 0.13123 0.23723 0.15274 0.27654 0.19641 0.67173

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 57 attributes, 3097 objects, 309 outliers (9.98%)

Download raw algorithm results (25.4 MB) Download raw algorithm evaluation table (72.5 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.34951 0.27742 0.33284 0.25890 0.35616 0.28481 0.75574
KNN 5 0.36246 0.29180 0.32798 0.25350 0.37543 0.30620 0.76022
KNN 6 0.37217 0.30258 0.32594 0.25123 0.37370 0.30429 0.76125
KNN 89 0.32039 0.24507 0.28281 0.20332 0.33577 0.26215 0.76142
KNNW 6 0.35922 0.28820 0.32852 0.25410 0.36770 0.29762 0.75361
KNNW 7 0.36893 0.29899 0.32820 0.25375 0.37049 0.30072 0.75482
KNNW 8 0.36893 0.29899 0.32674 0.25212 0.37396 0.30457 0.75594
KNNW 97 0.33981 0.26664 0.29230 0.21387 0.34370 0.27096 0.76126
LOF 86 0.18447 0.09408 0.16253 0.06971 0.24608 0.16252 0.63282
LOF 98 0.18123 0.09048 0.17549 0.08410 0.26279 0.18108 0.64757
LOF 100 0.18123 0.09048 0.17735 0.08618 0.26279 0.18108 0.65065
SimplifiedLOF 100 0.17476 0.08329 0.14585 0.05118 0.22194 0.13571 0.60654
LoOP 98 0.15858 0.06532 0.13219 0.03601 0.20527 0.11719 0.57751
LoOP 100 0.15858 0.06532 0.13380 0.03779 0.20644 0.11849 0.57923
LDOF 2 0.16505 0.07251 0.12391 0.02681 0.18391 0.09346 0.46844
LDOF 71 0.12945 0.03296 0.10143 0.00184 0.19158 0.10198 0.50776
LDOF 100 0.14563 0.05094 0.11310 0.01480 0.19107 0.10142 0.52520
ODIN 20 0.07189 -0.03097 0.11075 0.01219 0.21752 0.13079 0.57415
ODIN 100 0.11232 0.01393 0.11515 0.01708 0.20164 0.11316 0.56738
FastABOD 20 0.30744 0.23069 0.27193 0.19124 0.33780 0.26440 0.74636
FastABOD 100 0.30744 0.23069 0.29595 0.21792 0.33929 0.26606 0.74843
KDEOS 90 0.12945 0.03296 0.11188 0.01345 0.21835 0.13172 0.56964
KDEOS 100 0.12298 0.02578 0.11431 0.01615 0.21945 0.13294 0.57413
LDF 87 0.29450 0.21631 0.26688 0.18563 0.30369 0.22652 0.70718
LDF 91 0.29450 0.21631 0.27342 0.19289 0.30856 0.23192 0.71246
LDF 99 0.29126 0.21271 0.26873 0.18768 0.31250 0.23630 0.72109
LDF 100 0.29126 0.21271 0.26956 0.18860 0.31533 0.23944 0.72097
INFLO 98 0.15858 0.06532 0.15887 0.06565 0.29064 0.21202 0.62773
INFLO 100 0.16828 0.07610 0.15984 0.06672 0.28766 0.20871 0.62382
COF 98 0.19094 0.10127 0.17611 0.08480 0.25535 0.17282 0.65084
COF 100 0.19417 0.10486 0.18231 0.09169 0.25379 0.17109 0.65324

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO