Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

SpamBase (2% of outliers version#09)

A data set representing emails classified as spam (outliers) or nonspam.

Download all data set variants used (25.4 MB). You can also access the original data. (spambase.data)

Normalized, without duplicates

This version contains 57 attributes, 2579 objects, 51 outliers (1.98%)

Download raw algorithm results (23.1 MB) Download raw algorithm evaluation table (66.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.07843 0.05984 0.08992 0.07156 0.16860 0.15183 0.81093
KNN 3 0.11765 0.09985 0.09173 0.07341 0.18085 0.16433 0.80142
KNN 6 0.11765 0.09985 0.08608 0.06764 0.18182 0.16531 0.79170
KNNW 1 0.13725 0.11985 0.08367 0.06518 0.18834 0.17197 0.78520
KNNW 3 0.11765 0.09985 0.08994 0.07159 0.17094 0.15421 0.81283
KNNW 4 0.13725 0.11985 0.09147 0.07314 0.17391 0.15725 0.81193
LOF 12 0.00000 -0.02017 0.05184 0.03271 0.12308 0.10539 0.78241
LOF 56 0.05882 0.03984 0.05952 0.04055 0.13636 0.11894 0.75353
LOF 73 0.05882 0.03984 0.06519 0.04633 0.15225 0.13515 0.76648
LOF 83 0.03922 0.01983 0.06645 0.04762 0.14672 0.12950 0.77165
SimplifiedLOF 19 0.00000 -0.02017 0.04371 0.02442 0.10526 0.08721 0.76646
SimplifiedLOF 69 0.03922 0.01983 0.04041 0.02106 0.09226 0.07394 0.71464
SimplifiedLOF 100 0.03922 0.01983 0.05308 0.03397 0.12155 0.10383 0.73608
LoOP 19 0.03922 0.01983 0.04853 0.02934 0.10742 0.08941 0.77634
LoOP 87 0.07843 0.05984 0.06512 0.04626 0.14984 0.13269 0.77017
LoOP 100 0.05882 0.03984 0.06747 0.04866 0.15753 0.14054 0.77430
LDOF 39 0.01961 -0.00017 0.04709 0.02787 0.11268 0.09478 0.76324
LDOF 98 0.05882 0.03984 0.05859 0.03960 0.12594 0.10831 0.74997
LDOF 100 0.05882 0.03984 0.05903 0.04005 0.12979 0.11224 0.75118
ODIN 74 0.05882 0.03984 0.05587 0.03683 0.14286 0.12557 0.75074
ODIN 99 0.05882 0.03984 0.06277 0.04386 0.16162 0.14470 0.76402
FastABOD 5 0.07843 0.05984 0.07418 0.05550 0.17668 0.16007 0.77867
FastABOD 46 0.11765 0.09985 0.07900 0.06042 0.18065 0.16412 0.77145
FastABOD 85 0.11765 0.09985 0.08297 0.06447 0.19310 0.17683 0.77577
FastABOD 94 0.11765 0.09985 0.08310 0.06461 0.19178 0.17548 0.77630
KDEOS 5 0.05882 0.03984 0.02852 0.00892 0.06522 0.04636 0.58457
KDEOS 7 0.05882 0.03984 0.02859 0.00900 0.08772 0.06931 0.59567
KDEOS 19 0.01961 -0.00017 0.03083 0.01128 0.06674 0.04791 0.68057
KDEOS 37 0.01961 -0.00017 0.03490 0.01543 0.06157 0.04264 0.65600
LDF 5 0.07843 0.05984 0.04915 0.02997 0.10798 0.08999 0.75413
LDF 50 0.08333 0.06484 0.04144 0.02210 0.10811 0.09012 0.60901
LDF 56 0.07463 0.05596 0.04372 0.02443 0.14054 0.12320 0.63579
LDF 96 0.07843 0.05984 0.05380 0.03471 0.10582 0.08778 0.71166
INFLO 51 0.05882 0.03984 0.05654 0.03751 0.12295 0.10526 0.75067
INFLO 72 0.05882 0.03984 0.06752 0.04871 0.16935 0.15260 0.77655
INFLO 83 0.05882 0.03984 0.06877 0.04999 0.16867 0.15190 0.78472
COF 20 0.03922 0.01983 0.05486 0.03579 0.13068 0.11314 0.79079
COF 27 0.01961 -0.00017 0.05656 0.03753 0.13253 0.11503 0.78538
COF 30 0.01961 -0.00017 0.05610 0.03706 0.13636 0.11894 0.77840
COF 81 0.09804 0.07984 0.04245 0.02314 0.10959 0.09163 0.67443

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 57 attributes, 2844 objects, 56 outliers (1.97%)

Download raw algorithm results (23.4 MB) Download raw algorithm evaluation table (68.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.17857 0.16207 0.12870 0.11120 0.22360 0.20801 0.82994
KNNW 1 0.23214 0.21672 0.13929 0.12200 0.25676 0.24183 0.84288
LOF 3 0.05357 0.03456 0.04089 0.02163 0.10059 0.08253 0.68766
LOF 13 0.03571 0.01635 0.06527 0.04650 0.14907 0.13198 0.82260
LOF 15 0.03571 0.01635 0.06431 0.04552 0.15864 0.14174 0.82569
SimplifiedLOF 15 0.03571 0.01635 0.05379 0.03478 0.11973 0.10205 0.80027
SimplifiedLOF 26 0.01786 -0.00187 0.04835 0.02924 0.12375 0.10615 0.79375
SimplifiedLOF 96 0.05357 0.03456 0.03285 0.01343 0.07610 0.05754 0.68790
LoOP 9 0.10714 0.08921 0.05748 0.03855 0.11634 0.09859 0.75908
LoOP 15 0.08929 0.07099 0.06851 0.04980 0.15663 0.13969 0.81319
LoOP 19 0.08929 0.07099 0.07042 0.05175 0.14961 0.13253 0.81638
LoOP 25 0.07143 0.05278 0.06852 0.04981 0.14123 0.12398 0.82126
LDOF 11 0.08929 0.07099 0.05175 0.03270 0.13846 0.12116 0.72916
LDOF 13 0.10714 0.08921 0.05787 0.03895 0.12500 0.10742 0.75793
LDOF 36 0.05357 0.03456 0.05889 0.03999 0.13187 0.11443 0.80928
LDOF 95 0.03571 0.01635 0.06180 0.04295 0.10722 0.08928 0.76745
ODIN 46 0.07451 0.05592 0.06039 0.04152 0.13665 0.11930 0.77741
ODIN 67 0.09550 0.07733 0.06596 0.04720 0.14449 0.12730 0.76973
ODIN 78 0.09354 0.07533 0.06920 0.05051 0.15702 0.14009 0.77310
ODIN 88 0.08929 0.07099 0.07065 0.05198 0.15584 0.13889 0.77366
FastABOD 20 0.10714 0.08921 0.07547 0.05690 0.16342 0.14662 0.81182
FastABOD 21 0.10714 0.08921 0.07543 0.05686 0.16406 0.14727 0.81075
FastABOD 27 0.12500 0.10742 0.07471 0.05612 0.15909 0.14220 0.80927
FastABOD 77 0.12500 0.10742 0.08632 0.06797 0.15441 0.13743 0.80845
KDEOS 4 0.07143 0.05278 0.04217 0.02293 0.10243 0.08440 0.69526
KDEOS 26 0.01786 -0.00187 0.04478 0.02560 0.09945 0.08136 0.75104
KDEOS 33 0.07143 0.05278 0.04490 0.02572 0.09003 0.07175 0.74472
LDF 5 0.05357 0.03456 0.06422 0.04543 0.12757 0.11005 0.81299
LDF 9 0.10491 0.08693 0.04976 0.03068 0.11268 0.09485 0.73805
INFLO 3 0.05357 0.03456 0.04433 0.02514 0.11111 0.09326 0.71151
INFLO 13 0.03571 0.01635 0.06369 0.04489 0.15808 0.14116 0.81210
INFLO 14 0.03571 0.01635 0.06382 0.04502 0.15232 0.13529 0.81505
INFLO 15 0.03571 0.01635 0.06373 0.04492 0.14887 0.13177 0.81984
COF 11 0.07143 0.05278 0.04989 0.03081 0.10969 0.09181 0.77572
COF 12 0.05357 0.03456 0.05439 0.03540 0.12040 0.10273 0.80003
COF 23 0.01786 -0.00187 0.05963 0.04074 0.14760 0.13048 0.77695
COF 29 0.03571 0.01635 0.06064 0.04177 0.12871 0.11121 0.79525

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 57 attributes, 2579 objects, 51 outliers (1.98%)

Download raw algorithm results (22.4 MB) Download raw algorithm evaluation table (60.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.23529 0.21987 0.16155 0.14464 0.28571 0.27130 0.84011
KNN 3 0.21569 0.19986 0.17660 0.15999 0.27586 0.26125 0.82806
KNNW 1 0.25490 0.23987 0.15560 0.13856 0.26804 0.25327 0.79671
KNNW 2 0.25490 0.23987 0.16247 0.14557 0.27027 0.25555 0.84138
KNNW 6 0.21569 0.19986 0.17820 0.16162 0.28169 0.26720 0.83224
LOF 10 0.11765 0.09985 0.04292 0.02361 0.12403 0.10636 0.61319
LOF 38 0.11765 0.09985 0.04673 0.02749 0.13793 0.12054 0.62975
LOF 100 0.09804 0.07984 0.06591 0.04707 0.11650 0.09868 0.70984
SimplifiedLOF 47 0.17647 0.15986 0.06047 0.04152 0.18000 0.16346 0.63546
SimplifiedLOF 49 0.17647 0.15986 0.06067 0.04172 0.18557 0.16914 0.63896
SimplifiedLOF 100 0.13725 0.11985 0.06973 0.05096 0.15652 0.13951 0.69605
LoOP 11 0.05882 0.03984 0.04280 0.02349 0.12214 0.10443 0.65562
LoOP 47 0.13725 0.11985 0.04514 0.02588 0.14953 0.13238 0.59449
LoOP 57 0.13725 0.11985 0.04909 0.02990 0.15730 0.14030 0.61136
LoOP 58 0.13725 0.11985 0.04888 0.02969 0.16279 0.14590 0.61558
LDOF 58 0.13725 0.11985 0.04065 0.02129 0.15385 0.13678 0.56110
LDOF 100 0.09804 0.07984 0.03863 0.01923 0.12308 0.10539 0.58896
ODIN 11 0.04651 0.02728 0.02668 0.00704 0.05839 0.03940 0.59365
ODIN 40 0.01961 -0.00017 0.02553 0.00587 0.07107 0.05233 0.54906
ODIN 100 0.01961 -0.00017 0.02860 0.00900 0.06323 0.04433 0.63065
FastABOD 4 0.19608 0.17986 0.13895 0.12158 0.24390 0.22865 0.83331
FastABOD 6 0.17647 0.15986 0.13987 0.12252 0.25000 0.23487 0.83689
FastABOD 8 0.17647 0.15986 0.14379 0.12652 0.24793 0.23276 0.83808
FastABOD 12 0.17647 0.15986 0.14354 0.12627 0.24590 0.23069 0.83920
KDEOS 29 0.05882 0.03984 0.04887 0.02968 0.07062 0.05187 0.63420
KDEOS 41 0.05882 0.03984 0.03447 0.01499 0.07634 0.05770 0.64051
KDEOS 69 0.09804 0.07984 0.03636 0.01692 0.10101 0.08287 0.63463
KDEOS 73 0.09804 0.07984 0.03460 0.01513 0.10204 0.08393 0.63373
LDF 63 0.21569 0.19986 0.12570 0.10806 0.22764 0.21206 0.77059
LDF 66 0.19608 0.17986 0.12834 0.11076 0.23810 0.22272 0.77088
LDF 68 0.17647 0.15986 0.12473 0.10707 0.26562 0.25081 0.77177
LDF 98 0.17647 0.15986 0.10825 0.09026 0.25954 0.24460 0.79326
INFLO 39 0.11765 0.09985 0.04103 0.02168 0.13223 0.11472 0.57945
INFLO 47 0.11765 0.09985 0.04726 0.02803 0.14458 0.12732 0.64676
INFLO 89 0.09804 0.07984 0.05178 0.03265 0.10309 0.08500 0.69877
INFLO 100 0.07843 0.05984 0.05664 0.03761 0.10526 0.08721 0.67342
COF 92 0.17647 0.15986 0.10844 0.09045 0.21951 0.20377 0.72893
COF 95 0.21569 0.19986 0.10776 0.08976 0.22000 0.20426 0.73356
COF 99 0.21569 0.19986 0.10606 0.08803 0.22000 0.20426 0.73391
COF 100 0.21569 0.19986 0.10757 0.08957 0.22917 0.21362 0.73319

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 57 attributes, 2844 objects, 56 outliers (1.97%)

Download raw algorithm results (23.2 MB) Download raw algorithm evaluation table (63.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.16071 0.14386 0.12304 0.10542 0.18182 0.16538 0.80941
KNN 4 0.17857 0.16207 0.11650 0.09875 0.17857 0.16207 0.80648
KNNW 1 0.16071 0.14386 0.14134 0.12409 0.18301 0.16660 0.82159
LOF 6 0.05357 0.03456 0.03314 0.01372 0.10294 0.08492 0.58327
LOF 83 0.07143 0.05278 0.03799 0.01867 0.07286 0.05424 0.67281
LOF 99 0.07143 0.05278 0.04182 0.02257 0.07921 0.06071 0.68883
LOF 100 0.07143 0.05278 0.04095 0.02169 0.08000 0.06152 0.68996
SimplifiedLOF 8 0.01786 -0.00187 0.03445 0.01506 0.09859 0.08049 0.62007
SimplifiedLOF 9 0.01786 -0.00187 0.03409 0.01469 0.10582 0.08786 0.61750
SimplifiedLOF 19 0.05357 0.03456 0.03197 0.01252 0.07692 0.05838 0.61425
SimplifiedLOF 100 0.05357 0.03456 0.03414 0.01474 0.07052 0.05185 0.65569
LoOP 6 0.10714 0.08921 0.03892 0.01962 0.12000 0.10232 0.60133
LoOP 7 0.10714 0.08921 0.04072 0.02145 0.12766 0.11014 0.60044
LoOP 10 0.08929 0.07099 0.04228 0.02305 0.11765 0.09992 0.61204
LoOP 98 0.05357 0.03456 0.03253 0.01310 0.07246 0.05383 0.62755
LDOF 3 0.05357 0.03456 0.03599 0.01663 0.09412 0.07592 0.56547
LDOF 8 0.05357 0.03456 0.03258 0.01315 0.11640 0.09865 0.51249
LDOF 9 0.07143 0.05278 0.03203 0.01258 0.10256 0.08454 0.52734
ODIN 2 0.02947 0.00997 0.02827 0.00876 0.05887 0.03997 0.64294
ODIN 13 0.01408 -0.00572 0.02922 0.00973 0.06704 0.04830 0.63164
ODIN 15 0.01587 -0.00389 0.02871 0.00920 0.06729 0.04856 0.63116
ODIN 99 0.04688 0.02773 0.02636 0.00680 0.06148 0.04262 0.61676
FastABOD 21 0.12500 0.10742 0.09041 0.07214 0.17188 0.15524 0.81224
FastABOD 70 0.16071 0.14386 0.10860 0.09070 0.17460 0.15802 0.81143
FastABOD 72 0.16071 0.14386 0.10879 0.09089 0.17742 0.16090 0.81152
FastABOD 90 0.16071 0.14386 0.10916 0.09127 0.17742 0.16090 0.81142
KDEOS 48 0.00000 -0.02009 0.02950 0.01000 0.08261 0.06418 0.63224
KDEOS 91 0.07143 0.05278 0.03351 0.01410 0.07547 0.05690 0.65099
KDEOS 100 0.05357 0.03456 0.03453 0.01514 0.08108 0.06262 0.65639
LDF 3 0.14286 0.12564 0.05305 0.03403 0.16495 0.14818 0.56350
LDF 77 0.14286 0.12564 0.08427 0.06588 0.18045 0.16399 0.73582
LDF 82 0.14286 0.12564 0.07351 0.05490 0.18898 0.17269 0.74411
LDF 100 0.14286 0.12564 0.07589 0.05733 0.18056 0.16410 0.76728
INFLO 6 0.08929 0.07099 0.03667 0.01732 0.10596 0.08800 0.60456
INFLO 93 0.07143 0.05278 0.04039 0.02111 0.07843 0.05992 0.65979
INFLO 96 0.07143 0.05278 0.04023 0.02095 0.08081 0.06235 0.66124
COF 5 0.10714 0.08921 0.03741 0.01808 0.10811 0.09019 0.61115
COF 87 0.05357 0.03456 0.03611 0.01675 0.08264 0.06422 0.68330
COF 98 0.05357 0.03456 0.04328 0.02406 0.08696 0.06862 0.67820

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO