Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

SpamBase (5% of outliers version#06)

A data set representing emails classified as spam (outliers) or nonspam.

Download all data set variants used (25.4 MB). You can also access the original data. (spambase.data)

Normalized, without duplicates

This version contains 57 attributes, 2661 objects, 133 outliers (5.00%)

Download raw algorithm results (23.8 MB) Download raw algorithm evaluation table (70.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.18045 0.13733 0.14830 0.10349 0.24401 0.20424 0.77926
KNN 2 0.17293 0.12942 0.14597 0.10104 0.24561 0.20593 0.77096
KNNW 1 0.21053 0.16899 0.14656 0.10166 0.25146 0.21208 0.75420
KNNW 3 0.18797 0.14525 0.14818 0.10337 0.24184 0.20196 0.77942
KNNW 4 0.19549 0.15316 0.14871 0.10392 0.25333 0.21405 0.77692
KNNW 5 0.18045 0.13733 0.14663 0.10173 0.25506 0.21587 0.77384
LOF 14 0.09774 0.05028 0.11260 0.06591 0.22128 0.18031 0.75892
LOF 23 0.06015 0.01070 0.10501 0.05792 0.22699 0.18633 0.74798
LOF 82 0.15038 0.10568 0.12709 0.08117 0.21938 0.17831 0.73670
LOF 89 0.15789 0.11359 0.12535 0.07933 0.22050 0.17949 0.73394
SimplifiedLOF 24 0.06015 0.01070 0.09486 0.04724 0.19613 0.15384 0.73384
SimplifiedLOF 27 0.03008 -0.02095 0.09365 0.04597 0.20262 0.16067 0.73024
SimplifiedLOF 100 0.14286 0.09776 0.10341 0.05624 0.16983 0.12616 0.70185
LoOP 29 0.09774 0.05028 0.10797 0.06104 0.20354 0.16164 0.74623
LoOP 82 0.15038 0.10568 0.12272 0.07657 0.22061 0.17961 0.74124
LoOP 96 0.15038 0.10568 0.12500 0.07896 0.22358 0.18274 0.74264
LoOP 98 0.15038 0.10568 0.12532 0.07930 0.22257 0.18166 0.74294
LDOF 32 0.09774 0.05028 0.10361 0.05645 0.19592 0.15362 0.73670
LDOF 46 0.09023 0.04236 0.09970 0.05234 0.20344 0.16153 0.73072
LDOF 91 0.14286 0.09776 0.11866 0.07229 0.20026 0.15819 0.72822
LDOF 100 0.14286 0.09776 0.12097 0.07472 0.20078 0.15873 0.72878
ODIN 33 0.12782 0.08193 0.09050 0.04265 0.15723 0.11289 0.69576
ODIN 91 0.11163 0.06489 0.10770 0.06075 0.20000 0.15791 0.71996
ODIN 96 0.11459 0.06800 0.10804 0.06111 0.19374 0.15132 0.72104
ODIN 98 0.11880 0.07244 0.10827 0.06135 0.19505 0.15270 0.72061
FastABOD 4 0.16541 0.12151 0.12448 0.07842 0.21864 0.17753 0.76338
FastABOD 5 0.18045 0.13733 0.12595 0.07996 0.21661 0.17539 0.76062
FastABOD 7 0.17293 0.12942 0.12610 0.08012 0.22551 0.18476 0.76267
FastABOD 95 0.15789 0.11359 0.12903 0.08320 0.22166 0.18071 0.74845
KDEOS 91 0.13534 0.08985 0.08085 0.03249 0.15232 0.10772 0.64693
KDEOS 100 0.10526 0.05819 0.08292 0.03467 0.16368 0.11968 0.65343
LDF 5 0.09774 0.05028 0.10259 0.05538 0.20455 0.16270 0.73563
LDF 8 0.12782 0.08193 0.09668 0.04915 0.19506 0.15271 0.72071
INFLO 81 0.13534 0.08985 0.13276 0.08714 0.23333 0.19300 0.75240
INFLO 82 0.14286 0.09776 0.13271 0.08708 0.23394 0.19363 0.75262
INFLO 83 0.14286 0.09776 0.13260 0.08696 0.23549 0.19527 0.75229
INFLO 88 0.15789 0.11359 0.13152 0.08583 0.23241 0.19202 0.75047
COF 21 0.14286 0.09776 0.11586 0.06935 0.21667 0.17545 0.74951
COF 23 0.12782 0.08193 0.11608 0.06958 0.22222 0.18130 0.74862
COF 27 0.15789 0.11359 0.11411 0.06750 0.23052 0.19004 0.74666

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 57 attributes, 2934 objects, 146 outliers (4.98%)

Download raw algorithm results (24.2 MB) Download raw algorithm evaluation table (72.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.23288 0.19270 0.15150 0.10707 0.23695 0.19699 0.77315
KNN 4 0.21233 0.17108 0.15829 0.11422 0.24955 0.21025 0.79253
KNN 5 0.21918 0.17829 0.16254 0.11869 0.25794 0.21908 0.79240
KNNW 8 0.23288 0.19270 0.15737 0.11325 0.24028 0.20050 0.79164
KNNW 13 0.22603 0.18550 0.16004 0.11606 0.25600 0.21704 0.78723
KNNW 15 0.22603 0.18550 0.15920 0.11517 0.25735 0.21846 0.78348
LOF 11 0.08219 0.03413 0.08203 0.03396 0.16460 0.12085 0.70101
LOF 37 0.00685 -0.04516 0.08761 0.03983 0.20330 0.16158 0.73793
SimplifiedLOF 14 0.06849 0.01971 0.07037 0.02169 0.14469 0.09990 0.65594
SimplifiedLOF 37 0.00685 -0.04516 0.08087 0.03274 0.18314 0.14037 0.72216
SimplifiedLOF 41 0.00685 -0.04516 0.08199 0.03391 0.18111 0.13823 0.72474
LoOP 14 0.08904 0.04134 0.07804 0.02976 0.14871 0.10413 0.66933
LoOP 49 0.04795 -0.00191 0.08722 0.03942 0.18994 0.14752 0.73313
LoOP 51 0.04795 -0.00191 0.08699 0.03917 0.19156 0.14922 0.73226
LoOP 52 0.04795 -0.00191 0.08720 0.03940 0.19145 0.14910 0.73334
LDOF 4 0.08219 0.03413 0.06285 0.01377 0.13134 0.08585 0.56873
LDOF 84 0.04795 -0.00191 0.08746 0.03967 0.18127 0.13839 0.72471
LDOF 95 0.04795 -0.00191 0.09074 0.04312 0.17792 0.13487 0.72207
ODIN 7 0.10884 0.06218 0.07132 0.02269 0.12635 0.08060 0.62664
ODIN 96 0.09340 0.04592 0.10627 0.05947 0.21122 0.16991 0.72971
ODIN 99 0.09459 0.04717 0.10622 0.05942 0.20736 0.16585 0.73071
ODIN 100 0.09465 0.04723 0.10642 0.05962 0.20504 0.16341 0.73051
FastABOD 20 0.13014 0.08458 0.10532 0.05847 0.20061 0.15875 0.70971
FastABOD 27 0.13014 0.08458 0.10438 0.05748 0.20497 0.16334 0.70888
FastABOD 100 0.12329 0.07738 0.10971 0.06309 0.19489 0.15273 0.70840
KDEOS 19 0.06164 0.01250 0.06814 0.01934 0.13592 0.09067 0.61815
KDEOS 26 0.10959 0.06296 0.06851 0.01973 0.13146 0.08597 0.61379
KDEOS 27 0.10274 0.05575 0.07004 0.02134 0.13002 0.08446 0.61725
KDEOS 33 0.07534 0.02692 0.06754 0.01871 0.12329 0.07738 0.62311
LDF 6 0.07534 0.02692 0.09249 0.04496 0.19325 0.15100 0.71644
LDF 9 0.04110 -0.00912 0.09225 0.04472 0.19444 0.15226 0.74519
LDF 14 0.09589 0.04854 0.07825 0.02998 0.15734 0.11321 0.68458
INFLO 1 0.07534 0.02692 0.05691 0.00752 0.11072 0.06415 0.55581
INFLO 39 0.00685 -0.04516 0.08497 0.03705 0.19327 0.15102 0.73172
INFLO 41 0.00685 -0.04516 0.08508 0.03717 0.19048 0.14808 0.73139
COF 11 0.08904 0.04134 0.06820 0.01940 0.13448 0.08915 0.62034
COF 33 0.04110 -0.00912 0.09310 0.04561 0.19897 0.15703 0.73962
COF 36 0.04795 -0.00191 0.09386 0.04641 0.20610 0.16452 0.73728
COF 38 0.04795 -0.00191 0.09388 0.04643 0.19854 0.15657 0.73473

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 57 attributes, 2661 objects, 133 outliers (5.00%)

Download raw algorithm results (23.2 MB) Download raw algorithm evaluation table (66.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.30075 0.26396 0.22832 0.18772 0.31441 0.27834 0.75369
KNN 3 0.31579 0.27979 0.22042 0.17940 0.31698 0.28105 0.74902
KNN 51 0.21805 0.17691 0.16379 0.11979 0.26706 0.22850 0.75420
KNNW 2 0.30075 0.26396 0.23645 0.19628 0.30952 0.27320 0.76343
KNNW 6 0.30075 0.26396 0.22128 0.18032 0.31325 0.27712 0.75216
LOF 27 0.17293 0.12942 0.09823 0.05079 0.17557 0.13220 0.63047
LOF 70 0.16541 0.12151 0.11614 0.06964 0.18719 0.14443 0.65985
LOF 82 0.15789 0.11359 0.11732 0.07088 0.18103 0.13795 0.66598
LOF 100 0.15789 0.11359 0.11475 0.06817 0.17840 0.13518 0.66988
SimplifiedLOF 47 0.19549 0.15316 0.11378 0.06716 0.20134 0.15932 0.63515
SimplifiedLOF 63 0.19549 0.15316 0.12323 0.07710 0.21168 0.17020 0.64188
SimplifiedLOF 100 0.18045 0.13733 0.13188 0.08621 0.21154 0.17006 0.65911
LoOP 58 0.17293 0.12942 0.09879 0.05137 0.17391 0.13045 0.61184
LoOP 82 0.15038 0.10568 0.10520 0.05812 0.18812 0.14541 0.62420
LoOP 99 0.15038 0.10568 0.10806 0.06113 0.17910 0.13592 0.63034
LoOP 100 0.15038 0.10568 0.10849 0.06159 0.17910 0.13592 0.62958
LDOF 5 0.11278 0.06610 0.08423 0.03605 0.13260 0.08696 0.53972
LDOF 67 0.16541 0.12151 0.07689 0.02832 0.17213 0.12858 0.56499
LDOF 72 0.16541 0.12151 0.07799 0.02948 0.17600 0.13265 0.56893
LDOF 100 0.15038 0.10568 0.08358 0.03537 0.15652 0.11215 0.58381
ODIN 83 0.09774 0.05028 0.06841 0.01939 0.11902 0.07267 0.60701
ODIN 84 0.10150 0.05423 0.06838 0.01937 0.11799 0.07159 0.60616
ODIN 96 0.09774 0.05028 0.06888 0.01989 0.12308 0.07694 0.60512
ODIN 99 0.09882 0.05141 0.06828 0.01926 0.12698 0.08105 0.60327
FastABOD 3 0.27068 0.23231 0.20325 0.16133 0.28374 0.24605 0.78083
FastABOD 14 0.27068 0.23231 0.20942 0.16782 0.28571 0.24814 0.77802
FastABOD 42 0.27068 0.23231 0.20821 0.16655 0.28739 0.24990 0.77757
FastABOD 44 0.27820 0.24022 0.20840 0.16675 0.28739 0.24990 0.77765
KDEOS 10 0.09023 0.04236 0.05672 0.00709 0.10822 0.06130 0.53874
KDEOS 89 0.07519 0.02653 0.06959 0.02064 0.13722 0.09183 0.62291
KDEOS 94 0.08271 0.03445 0.07029 0.02138 0.13692 0.09152 0.62544
KDEOS 100 0.09023 0.04236 0.07038 0.02147 0.13554 0.09006 0.62403
LDF 63 0.24060 0.20065 0.16573 0.12184 0.24242 0.20257 0.70809
LDF 71 0.23308 0.19273 0.17060 0.12696 0.24893 0.20941 0.71328
LDF 99 0.24060 0.20065 0.15292 0.10836 0.25551 0.21634 0.71856
LDF 100 0.24060 0.20065 0.15355 0.10902 0.25551 0.21634 0.71875
INFLO 40 0.15789 0.11359 0.09363 0.04595 0.16031 0.11613 0.60329
INFLO 74 0.15038 0.10568 0.11163 0.06489 0.17476 0.13134 0.66872
INFLO 98 0.15038 0.10568 0.11437 0.06778 0.17605 0.13270 0.65631
INFLO 100 0.15038 0.10568 0.11305 0.06638 0.17925 0.13606 0.65539
COF 79 0.21805 0.17691 0.18395 0.14102 0.25000 0.21054 0.68624
COF 82 0.24060 0.20065 0.18137 0.13830 0.26214 0.22332 0.68617
COF 90 0.21805 0.17691 0.17973 0.13658 0.26866 0.23018 0.68979
COF 94 0.23308 0.19273 0.17835 0.13512 0.26396 0.22524 0.69141

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 57 attributes, 2934 objects, 146 outliers (4.98%)

Download raw algorithm results (24.0 MB) Download raw algorithm evaluation table (70.0 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.26027 0.22154 0.20452 0.16286 0.27621 0.23831 0.80884
KNN 4 0.28767 0.25037 0.22019 0.17935 0.31111 0.27504 0.80283
KNN 5 0.27397 0.23595 0.22210 0.18136 0.31122 0.27516 0.80184
KNN 8 0.27397 0.23595 0.22968 0.18934 0.30400 0.26755 0.79731
KNNW 4 0.27397 0.23595 0.21564 0.17456 0.30693 0.27064 0.81291
KNNW 8 0.28082 0.24316 0.22763 0.18719 0.31771 0.28198 0.80702
KNNW 10 0.28767 0.25037 0.22933 0.18897 0.31043 0.27432 0.80430
LOF 19 0.13014 0.08458 0.07944 0.03124 0.15205 0.10764 0.65720
LOF 92 0.11644 0.07017 0.10594 0.05912 0.16049 0.11653 0.67224
LOF 100 0.11644 0.07017 0.10755 0.06081 0.15953 0.11551 0.67934
SimplifiedLOF 100 0.17808 0.13504 0.09257 0.04505 0.17808 0.13504 0.67333
LoOP 2 0.09589 0.04854 0.09656 0.04925 0.13253 0.08710 0.56113
LoOP 66 0.11644 0.07017 0.07700 0.02866 0.14444 0.09964 0.64955
LoOP 91 0.14384 0.09900 0.08572 0.03784 0.14621 0.10150 0.64634
LoOP 100 0.14384 0.09900 0.08957 0.04189 0.15663 0.11246 0.64689
LDOF 2 0.11644 0.07017 0.08333 0.03533 0.13559 0.09033 0.50345
LDOF 100 0.10274 0.05575 0.07141 0.02278 0.14130 0.09634 0.61396
ODIN 3 0.07941 0.03120 0.06648 0.01759 0.11934 0.07322 0.61478
ODIN 28 0.03628 -0.01418 0.06665 0.01777 0.13149 0.08601 0.64635
ODIN 38 0.04693 -0.00298 0.06716 0.01831 0.13654 0.09132 0.63778
ODIN 39 0.04189 -0.00829 0.06730 0.01846 0.13591 0.09066 0.63654
FastABOD 8 0.23288 0.19270 0.16251 0.11865 0.27556 0.23762 0.79154
FastABOD 10 0.23288 0.19270 0.16395 0.12017 0.27500 0.23703 0.79190
FastABOD 87 0.21918 0.17829 0.18019 0.13726 0.28200 0.24440 0.78783
FastABOD 100 0.21918 0.17829 0.18036 0.13744 0.28200 0.24440 0.78803
KDEOS 83 0.08904 0.04134 0.07758 0.02928 0.15889 0.11484 0.68087
KDEOS 94 0.08219 0.03413 0.08105 0.03293 0.16782 0.12424 0.68539
KDEOS 100 0.08904 0.04134 0.08294 0.03492 0.16531 0.12160 0.68707
LDF 82 0.23288 0.19270 0.15027 0.10577 0.24710 0.20768 0.69266
LDF 92 0.22603 0.18550 0.15407 0.10977 0.23529 0.19525 0.71422
LDF 100 0.22603 0.18550 0.15052 0.10604 0.24026 0.20047 0.72603
INFLO 59 0.12329 0.07738 0.08033 0.03217 0.17210 0.12874 0.67069
INFLO 73 0.13699 0.09179 0.08637 0.03853 0.16915 0.12564 0.65166
INFLO 95 0.13699 0.09179 0.10392 0.05699 0.17398 0.13072 0.65723
COF 78 0.15068 0.10621 0.08885 0.04113 0.15873 0.11468 0.67838
COF 98 0.15068 0.10621 0.11675 0.07050 0.17460 0.13138 0.68653
COF 100 0.15068 0.10621 0.12570 0.07991 0.19130 0.14896 0.68237

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO