Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

SpamBase (5% of outliers version#07)

A data set representing emails classified as spam (outliers) or nonspam.

Download all data set variants used (25.4 MB). You can also access the original data. (spambase.data)

Normalized, without duplicates

This version contains 57 attributes, 2661 objects, 133 outliers (5.00%)

Download raw algorithm results (23.8 MB) Download raw algorithm evaluation table (71.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.18045 0.13733 0.13681 0.09140 0.25552 0.21635 0.77805
KNN 2 0.19549 0.15316 0.14853 0.10373 0.24891 0.20939 0.79357
KNN 3 0.19549 0.15316 0.15101 0.10635 0.24815 0.20859 0.78878
KNN 4 0.20301 0.16108 0.14965 0.10491 0.25098 0.21157 0.78294
KNNW 1 0.16541 0.12151 0.13308 0.08747 0.26916 0.23071 0.73167
KNNW 5 0.21053 0.16899 0.14710 0.10223 0.25957 0.22061 0.78882
KNNW 6 0.21805 0.17691 0.14776 0.10292 0.25108 0.21168 0.78781
KNNW 8 0.21053 0.16899 0.14798 0.10315 0.25322 0.21393 0.78520
LOF 78 0.16541 0.12151 0.13519 0.08970 0.22676 0.18608 0.75446
LOF 80 0.16541 0.12151 0.13461 0.08908 0.23235 0.19196 0.75462
LOF 82 0.17293 0.12942 0.13441 0.08887 0.22453 0.18373 0.75490
LOF 98 0.18045 0.13733 0.13264 0.08701 0.22624 0.18554 0.75282
SimplifiedLOF 100 0.18045 0.13733 0.11894 0.07259 0.18625 0.14344 0.71046
LoOP 95 0.17293 0.12942 0.13161 0.08592 0.21709 0.17590 0.74420
LoOP 98 0.17293 0.12942 0.13256 0.08693 0.21860 0.17749 0.74541
LoOP 100 0.17293 0.12942 0.13252 0.08688 0.22066 0.17966 0.74615
LDOF 63 0.09023 0.04236 0.11372 0.06709 0.18234 0.13932 0.72179
LDOF 94 0.15038 0.10568 0.12012 0.07382 0.17618 0.13283 0.72296
LDOF 100 0.15038 0.10568 0.12264 0.07648 0.17872 0.13552 0.72550
ODIN 98 0.14054 0.09533 0.10840 0.06150 0.19753 0.15531 0.71631
ODIN 100 0.13910 0.09381 0.10889 0.06201 0.19938 0.15726 0.71688
FastABOD 9 0.15038 0.10568 0.12075 0.07449 0.23881 0.19876 0.75212
FastABOD 46 0.18045 0.13733 0.12418 0.07810 0.22706 0.18640 0.75288
FastABOD 62 0.18045 0.13733 0.12568 0.07968 0.22390 0.18307 0.75523
FastABOD 76 0.18045 0.13733 0.12589 0.07990 0.22152 0.18056 0.75452
KDEOS 11 0.08271 0.03445 0.05913 0.00963 0.11206 0.06535 0.55685
KDEOS 18 0.06767 0.01862 0.06283 0.01353 0.11375 0.06712 0.57813
KDEOS 21 0.06015 0.01070 0.05965 0.01018 0.11751 0.07108 0.58113
KDEOS 38 0.05263 0.00279 0.05567 0.00599 0.12306 0.07692 0.56824
LDF 7 0.09023 0.04236 0.09489 0.04727 0.19328 0.15084 0.73099
LDF 54 0.18045 0.13733 0.10482 0.05773 0.21176 0.17030 0.63232
LDF 57 0.18797 0.14525 0.10762 0.06068 0.19185 0.14933 0.65768
LDF 60 0.18045 0.13733 0.11844 0.07206 0.19572 0.15340 0.66979
INFLO 78 0.15038 0.10568 0.13509 0.08959 0.23291 0.19255 0.76092
INFLO 83 0.15789 0.11359 0.13514 0.08964 0.23499 0.19474 0.76030
INFLO 90 0.17293 0.12942 0.13523 0.08973 0.22622 0.18551 0.75989
INFLO 93 0.17293 0.12942 0.13589 0.09043 0.22660 0.18591 0.76038
COF 36 0.06015 0.01070 0.09932 0.05193 0.20864 0.16701 0.73614
COF 41 0.05263 0.00279 0.09847 0.05104 0.21222 0.17077 0.73113
COF 95 0.13534 0.08985 0.12643 0.08047 0.19572 0.15340 0.70705
COF 100 0.15038 0.10568 0.12593 0.07995 0.19737 0.15514 0.70480

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 57 attributes, 2934 objects, 146 outliers (4.98%)

Download raw algorithm results (24.2 MB) Download raw algorithm evaluation table (72.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.18493 0.14225 0.16211 0.11823 0.23267 0.19249 0.74948
KNN 2 0.19863 0.15666 0.15670 0.11254 0.24480 0.20526 0.76162
KNN 3 0.19863 0.15666 0.16023 0.11625 0.24786 0.20848 0.76899
KNNW 1 0.21918 0.17829 0.15396 0.10966 0.23066 0.19037 0.75410
KNNW 3 0.18493 0.14225 0.16280 0.11896 0.24268 0.20302 0.75971
KNNW 4 0.18493 0.14225 0.16174 0.11785 0.25152 0.21233 0.76476
KNNW 7 0.19863 0.15666 0.16129 0.11737 0.24344 0.20382 0.77057
LOF 9 0.13014 0.08458 0.09452 0.04711 0.16635 0.12269 0.72470
LOF 12 0.10274 0.05575 0.09576 0.04840 0.17537 0.13218 0.73659
LOF 15 0.06849 0.01971 0.09521 0.04783 0.18595 0.14333 0.73885
LOF 24 0.00685 -0.04516 0.09272 0.04521 0.20616 0.16459 0.73143
SimplifiedLOF 6 0.08219 0.03413 0.06732 0.01848 0.13298 0.08758 0.61904
SimplifiedLOF 24 0.01370 -0.03795 0.08285 0.03482 0.16876 0.12523 0.70649
SimplifiedLOF 28 0.00685 -0.04516 0.08251 0.03446 0.17310 0.12979 0.70890
SimplifiedLOF 37 0.02055 -0.03074 0.08166 0.03357 0.18217 0.13935 0.70600
LoOP 17 0.14384 0.09900 0.09220 0.04466 0.16207 0.11819 0.70217
LoOP 21 0.13699 0.09179 0.09825 0.05102 0.17467 0.13145 0.71885
LoOP 25 0.11644 0.07017 0.09741 0.05014 0.17926 0.13628 0.72233
LoOP 58 0.06849 0.01971 0.08903 0.04133 0.18925 0.14680 0.71658
LDOF 13 0.10959 0.06296 0.07895 0.03072 0.13901 0.09393 0.63716
LDOF 79 0.06164 0.01250 0.08928 0.04159 0.17766 0.13459 0.71702
LDOF 88 0.06849 0.01971 0.08757 0.03979 0.17946 0.13649 0.71271
ODIN 99 0.16541 0.12171 0.11665 0.07039 0.20513 0.16350 0.70411
ODIN 100 0.16634 0.12268 0.11647 0.07020 0.20183 0.16004 0.70257
FastABOD 20 0.09589 0.04854 0.10230 0.05529 0.19301 0.15075 0.71272
FastABOD 47 0.10274 0.05575 0.10162 0.05458 0.18900 0.14653 0.71046
FastABOD 74 0.10274 0.05575 0.10937 0.06273 0.19310 0.15085 0.71142
FastABOD 99 0.10274 0.05575 0.11053 0.06395 0.18996 0.14754 0.71215
KDEOS 23 0.07534 0.02692 0.06973 0.02102 0.13714 0.09196 0.63137
KDEOS 25 0.10274 0.05575 0.06836 0.01958 0.12726 0.08156 0.62528
LDF 7 0.13699 0.09179 0.11459 0.06822 0.20739 0.16588 0.76855
INFLO 9 0.10959 0.06296 0.08655 0.03872 0.15632 0.11214 0.68559
INFLO 18 0.06849 0.01971 0.09211 0.04457 0.17828 0.13525 0.72268
INFLO 21 0.04795 -0.00191 0.09154 0.04396 0.17942 0.13645 0.72765
INFLO 49 0.03425 -0.01633 0.08231 0.03426 0.18837 0.14587 0.70946
COF 23 0.07534 0.02692 0.10160 0.05456 0.21823 0.17729 0.74842
COF 29 0.10274 0.05575 0.10142 0.05437 0.20262 0.16087 0.75073
COF 31 0.08904 0.04134 0.10053 0.05342 0.20610 0.16452 0.75201

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 57 attributes, 2661 objects, 133 outliers (5.00%)

Download raw algorithm results (23.2 MB) Download raw algorithm evaluation table (67.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.22932 0.18878 0.20645 0.16470 0.27072 0.23235 0.75973
KNN 3 0.23308 0.19273 0.20313 0.16120 0.26866 0.23018 0.75662
KNN 6 0.22556 0.18482 0.19080 0.14822 0.27326 0.23502 0.75954
KNN 86 0.20301 0.16108 0.14770 0.10286 0.23649 0.19632 0.76355
KNNW 2 0.23308 0.19273 0.20721 0.16550 0.26367 0.22493 0.75802
KNNW 12 0.22556 0.18482 0.19258 0.15010 0.27246 0.23419 0.75895
KNNW 100 0.19549 0.15316 0.15255 0.10797 0.24332 0.20351 0.76275
LOF 10 0.13534 0.08985 0.08859 0.04064 0.16519 0.12127 0.57912
LOF 11 0.15789 0.11359 0.08945 0.04155 0.16447 0.12052 0.58065
LOF 100 0.11278 0.06610 0.09687 0.04935 0.16013 0.11594 0.65480
SimplifiedLOF 16 0.16541 0.12151 0.09808 0.05063 0.17187 0.12831 0.60839
SimplifiedLOF 21 0.16541 0.12151 0.10063 0.05331 0.17886 0.13566 0.61397
SimplifiedLOF 87 0.15038 0.10568 0.10353 0.05636 0.16522 0.12130 0.62069
SimplifiedLOF 100 0.15038 0.10568 0.10294 0.05574 0.16379 0.11980 0.62865
LoOP 18 0.12030 0.07402 0.07991 0.03150 0.16431 0.12034 0.59735
LoOP 20 0.14286 0.09776 0.08195 0.03366 0.16054 0.11637 0.60684
LoOP 22 0.15789 0.11359 0.08331 0.03508 0.16031 0.11613 0.60347
LoOP 28 0.14286 0.09776 0.08380 0.03559 0.15238 0.10779 0.59705
LDOF 15 0.06767 0.01862 0.07012 0.02120 0.12112 0.07488 0.56290
LDOF 32 0.10526 0.05819 0.07391 0.02519 0.16024 0.11606 0.54106
LDOF 49 0.12030 0.07402 0.07519 0.02653 0.14013 0.09489 0.52860
LDOF 56 0.13534 0.08985 0.07428 0.02558 0.13688 0.09147 0.51965
ODIN 11 0.05519 0.00549 0.06084 0.01143 0.12253 0.07637 0.59397
ODIN 15 0.04916 -0.00086 0.06188 0.01252 0.12167 0.07546 0.60278
ODIN 69 0.08271 0.03445 0.05932 0.00983 0.11254 0.06585 0.56646
FastABOD 3 0.22556 0.18482 0.19176 0.14924 0.24762 0.20804 0.78477
FastABOD 5 0.22556 0.18482 0.18835 0.14565 0.24828 0.20873 0.78825
FastABOD 7 0.24060 0.20065 0.18751 0.14476 0.24880 0.20928 0.78557
FastABOD 9 0.24060 0.20065 0.18793 0.14520 0.25058 0.21115 0.78498
KDEOS 5 0.09774 0.05028 0.08003 0.03163 0.10769 0.06075 0.53535
KDEOS 67 0.09023 0.04236 0.07563 0.02699 0.14169 0.09653 0.60008
KDEOS 78 0.11278 0.06610 0.07650 0.02791 0.13306 0.08745 0.60173
LDF 39 0.19549 0.15316 0.12096 0.07472 0.20576 0.16398 0.65343
LDF 70 0.15789 0.11359 0.13399 0.08842 0.21525 0.17396 0.70750
LDF 81 0.15789 0.11359 0.14093 0.09574 0.20643 0.16468 0.73034
LDF 100 0.17293 0.12942 0.13186 0.08619 0.20712 0.16541 0.73818
INFLO 19 0.11278 0.06610 0.09278 0.04505 0.15861 0.11434 0.65135
INFLO 85 0.14286 0.09776 0.09135 0.04355 0.17038 0.12674 0.62531
COF 22 0.19549 0.15316 0.11544 0.06890 0.21186 0.17040 0.59385
COF 23 0.19549 0.15316 0.11915 0.07281 0.22128 0.18031 0.59470
COF 100 0.17293 0.12942 0.14520 0.10023 0.20465 0.16281 0.65444

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 57 attributes, 2934 objects, 146 outliers (4.98%)

Download raw algorithm results (23.9 MB) Download raw algorithm evaluation table (69.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.22603 0.18550 0.20210 0.16031 0.24206 0.20237 0.77045
KNN 2 0.22603 0.18550 0.20388 0.16219 0.23776 0.19785 0.76554
KNN 3 0.21918 0.17829 0.20378 0.16208 0.23913 0.19929 0.77365
KNN 4 0.20548 0.16387 0.19954 0.15763 0.24798 0.20860 0.77210
KNNW 1 0.22603 0.18550 0.20374 0.16204 0.25854 0.21971 0.76169
KNNW 2 0.23288 0.19270 0.20553 0.16393 0.24431 0.20473 0.77147
KNNW 4 0.21918 0.17829 0.20998 0.16861 0.24831 0.20894 0.77347
KNNW 8 0.22603 0.18550 0.20402 0.16233 0.24022 0.20044 0.77466
LOF 6 0.13699 0.09179 0.07702 0.02868 0.14857 0.10398 0.58649
LOF 100 0.09589 0.04854 0.10333 0.05638 0.14219 0.09727 0.64549
SimplifiedLOF 6 0.13014 0.08458 0.07770 0.02940 0.15335 0.10902 0.61248
SimplifiedLOF 7 0.13014 0.08458 0.07968 0.03148 0.16071 0.11676 0.61160
SimplifiedLOF 15 0.08904 0.04134 0.06877 0.02000 0.12981 0.08424 0.61337
SimplifiedLOF 100 0.11644 0.07017 0.08543 0.03753 0.12628 0.08053 0.60426
LoOP 7 0.12329 0.07738 0.08512 0.03721 0.14241 0.09751 0.60602
LoOP 8 0.12329 0.07738 0.08633 0.03848 0.13750 0.09233 0.60477
LoOP 11 0.13699 0.09179 0.07591 0.02752 0.14887 0.10430 0.59841
LDOF 2 0.09589 0.04854 0.07621 0.02784 0.12674 0.08101 0.50868
LDOF 4 0.10274 0.05575 0.07617 0.02779 0.12157 0.07557 0.54718
LDOF 13 0.12329 0.07738 0.06425 0.01525 0.12378 0.07789 0.52919
LDOF 15 0.11644 0.07017 0.06141 0.01226 0.12745 0.08176 0.51482
ODIN 12 0.05720 0.00782 0.06256 0.01347 0.12500 0.07918 0.61346
ODIN 13 0.06472 0.01574 0.06300 0.01393 0.12245 0.07649 0.61104
ODIN 48 0.08291 0.03489 0.05810 0.00878 0.11550 0.06918 0.56387
FastABOD 70 0.20548 0.16387 0.18739 0.14484 0.23025 0.18994 0.77115
FastABOD 76 0.20548 0.16387 0.18803 0.14551 0.23129 0.19104 0.77125
FastABOD 100 0.20548 0.16387 0.18852 0.14602 0.22989 0.18956 0.77171
KDEOS 5 0.07534 0.02692 0.06351 0.01447 0.11665 0.07039 0.58351
KDEOS 18 0.04795 -0.00191 0.06720 0.01835 0.13804 0.09291 0.62012
LDF 74 0.18493 0.14225 0.13023 0.08468 0.19403 0.15182 0.66395
LDF 79 0.18493 0.14225 0.13134 0.08585 0.21138 0.17008 0.67687
LDF 98 0.18493 0.14225 0.13622 0.09099 0.20077 0.15892 0.70908
LDF 100 0.18493 0.14225 0.13207 0.08662 0.20155 0.15974 0.71239
INFLO 5 0.10274 0.05575 0.07105 0.02241 0.13228 0.08684 0.58249
INFLO 75 0.08219 0.03413 0.08450 0.03656 0.16224 0.11836 0.61561
INFLO 93 0.08904 0.04134 0.09350 0.04603 0.16224 0.11837 0.60688
INFLO 94 0.08904 0.04134 0.09365 0.04618 0.16185 0.11796 0.60732
COF 9 0.12329 0.07738 0.08323 0.03522 0.15493 0.11068 0.62900
COF 13 0.13699 0.09179 0.08375 0.03577 0.14679 0.10211 0.64089
COF 14 0.14384 0.09900 0.08525 0.03735 0.15484 0.11058 0.64053
COF 100 0.13014 0.08458 0.09711 0.04983 0.13978 0.09474 0.63505

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO