Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

SpamBase (5% of outliers version#04)

A data set representing emails classified as spam (outliers) or nonspam.

Download all data set variants used (25.4 MB). You can also access the original data. (spambase.data)

Normalized, without duplicates

This version contains 57 attributes, 2661 objects, 133 outliers (5.00%)

Download raw algorithm results (23.8 MB) Download raw algorithm evaluation table (71.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.18045 0.13733 0.13245 0.08681 0.24474 0.20501 0.74752
KNN 2 0.18045 0.13733 0.13813 0.09279 0.24561 0.20593 0.76503
KNN 5 0.14286 0.09776 0.13168 0.08600 0.25312 0.21383 0.75580
KNNW 4 0.19549 0.15316 0.12845 0.08260 0.22190 0.18096 0.74463
KNNW 9 0.17293 0.12942 0.13172 0.08604 0.24490 0.20517 0.75361
KNNW 10 0.17293 0.12942 0.13176 0.08608 0.24353 0.20373 0.75335
LOF 9 0.10526 0.05819 0.07992 0.03152 0.14062 0.09541 0.65000
LOF 84 0.06015 0.01070 0.11986 0.07355 0.22841 0.18782 0.72937
LOF 97 0.06015 0.01070 0.11909 0.07274 0.22917 0.18861 0.72791
SimplifiedLOF 1 0.09023 0.04236 0.05535 0.00565 0.10084 0.05353 0.50574
SimplifiedLOF 37 0.03008 -0.02095 0.07951 0.03108 0.17927 0.13609 0.69522
SimplifiedLOF 60 0.04511 -0.00512 0.08433 0.03616 0.18353 0.14057 0.68771
SimplifiedLOF 100 0.09023 0.04236 0.09724 0.04974 0.17943 0.13626 0.68333
LoOP 1 0.09023 0.04236 0.05548 0.00579 0.10084 0.05353 0.50724
LoOP 94 0.06767 0.01862 0.10467 0.05757 0.21438 0.17305 0.72045
LoOP 100 0.06015 0.01070 0.10628 0.05926 0.21167 0.17019 0.72277
LDOF 2 0.07519 0.02653 0.05248 0.00263 0.09680 0.04928 0.48253
LDOF 99 0.06015 0.01070 0.09585 0.04829 0.17834 0.13512 0.69196
LDOF 100 0.06015 0.01070 0.09619 0.04864 0.17807 0.13482 0.69244
ODIN 81 0.06617 0.01704 0.09359 0.04591 0.19512 0.15278 0.70488
ODIN 99 0.09023 0.04236 0.09696 0.04945 0.19127 0.14872 0.71087
ODIN 100 0.08967 0.04178 0.09713 0.04963 0.19287 0.15041 0.71121
FastABOD 8 0.15038 0.10568 0.10586 0.05882 0.20121 0.15918 0.69624
FastABOD 40 0.15789 0.11359 0.10877 0.06188 0.20000 0.15791 0.69079
FastABOD 94 0.15038 0.10568 0.11843 0.07205 0.20853 0.16689 0.69268
FastABOD 99 0.14286 0.09776 0.11816 0.07177 0.20886 0.16724 0.69253
KDEOS 2 0.09774 0.05028 0.06032 0.01088 0.10236 0.05514 0.52847
KDEOS 11 0.07519 0.02653 0.06500 0.01580 0.11419 0.06758 0.54364
KDEOS 18 0.07519 0.02653 0.06344 0.01417 0.12959 0.08380 0.55482
KDEOS 100 0.05263 0.00279 0.05966 0.01018 0.11733 0.07090 0.55879
LDF 7 0.12030 0.07402 0.09535 0.04776 0.18124 0.13816 0.69350
LDF 59 0.16541 0.12151 0.08826 0.04029 0.17266 0.12913 0.64093
INFLO 11 0.08271 0.03445 0.08227 0.03399 0.15227 0.10767 0.65896
INFLO 85 0.06767 0.01862 0.11849 0.07212 0.23347 0.19315 0.73438
INFLO 89 0.06767 0.01862 0.11806 0.07166 0.23782 0.19772 0.73334
COF 26 0.10526 0.05819 0.08847 0.04051 0.17226 0.12871 0.69150
COF 33 0.08271 0.03445 0.09356 0.04588 0.19072 0.14814 0.70674
COF 52 0.04511 -0.00512 0.08277 0.03452 0.19259 0.15011 0.68106

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 57 attributes, 2934 objects, 146 outliers (4.98%)

Download raw algorithm results (24.2 MB) Download raw algorithm evaluation table (72.2 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.19863 0.15666 0.13776 0.09260 0.21338 0.17218 0.70725
KNN 2 0.17123 0.12783 0.13681 0.09161 0.20934 0.16793 0.73601
KNNW 2 0.18493 0.14225 0.13813 0.09299 0.21622 0.17517 0.70799
KNNW 4 0.17123 0.12783 0.13879 0.09370 0.20805 0.16658 0.72841
KNNW 5 0.16438 0.12062 0.13833 0.09320 0.21543 0.17435 0.73063
KNNW 6 0.15753 0.11342 0.13689 0.09169 0.21779 0.17683 0.73028
LOF 1 0.08904 0.04134 0.07473 0.02628 0.14340 0.09854 0.61447
LOF 15 0.07534 0.02692 0.08443 0.03648 0.17281 0.12950 0.69228
LOF 19 0.04795 -0.00191 0.08313 0.03512 0.17360 0.13033 0.69428
LOF 28 0.02740 -0.02354 0.07815 0.02987 0.18164 0.13878 0.68097
SimplifiedLOF 3 0.06849 0.01971 0.06522 0.01627 0.14060 0.09559 0.59386
SimplifiedLOF 34 0.02740 -0.02354 0.07265 0.02409 0.16361 0.11981 0.66330
SimplifiedLOF 100 0.06849 0.01971 0.07351 0.02499 0.13098 0.08547 0.60897
LoOP 1 0.11644 0.07017 0.07007 0.02137 0.13780 0.09265 0.60348
LoOP 19 0.07534 0.02692 0.08451 0.03657 0.15768 0.11357 0.66812
LoOP 40 0.06164 0.01250 0.08069 0.03255 0.16378 0.11999 0.67497
LoOP 44 0.06164 0.01250 0.07998 0.03180 0.16962 0.12613 0.67369
LDOF 2 0.09589 0.04854 0.06561 0.01668 0.13229 0.08685 0.57520
LDOF 37 0.05479 0.00530 0.07819 0.02992 0.16051 0.11654 0.66129
LDOF 51 0.05479 0.00530 0.08116 0.03304 0.15686 0.11271 0.66787
LDOF 100 0.06164 0.01250 0.08694 0.03913 0.14594 0.10121 0.65420
ODIN 31 0.11644 0.07017 0.08726 0.03946 0.15983 0.11583 0.65980
ODIN 99 0.10149 0.05444 0.09917 0.05200 0.17704 0.13394 0.66672
ODIN 100 0.10149 0.05444 0.09896 0.05177 0.17778 0.13472 0.66632
FastABOD 20 0.10959 0.06296 0.09236 0.04483 0.16599 0.12231 0.67255
FastABOD 25 0.12329 0.07738 0.09112 0.04352 0.16598 0.12230 0.67118
FastABOD 29 0.10959 0.06296 0.09116 0.04357 0.16783 0.12425 0.67146
FastABOD 100 0.12329 0.07738 0.10090 0.05382 0.16337 0.11955 0.67001
KDEOS 8 0.08904 0.04134 0.06627 0.01738 0.12257 0.07662 0.58692
KDEOS 20 0.07534 0.02692 0.07276 0.02421 0.14726 0.10260 0.60960
LDF 6 0.13014 0.08458 0.10733 0.06058 0.19134 0.14900 0.71440
INFLO 1 0.09589 0.04854 0.07346 0.02494 0.14865 0.10407 0.60790
INFLO 19 0.06164 0.01250 0.08375 0.03577 0.16330 0.11949 0.69180
INFLO 35 0.02740 -0.02354 0.07575 0.02735 0.16924 0.12574 0.67375
COF 17 0.08904 0.04134 0.07944 0.03124 0.16027 0.11630 0.64622
COF 29 0.07534 0.02692 0.08560 0.03772 0.19454 0.15236 0.67899
COF 30 0.07534 0.02692 0.08727 0.03948 0.19363 0.15140 0.68534

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 57 attributes, 2661 objects, 133 outliers (5.00%)

Download raw algorithm results (23.2 MB) Download raw algorithm evaluation table (69.0 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.20301 0.16108 0.17827 0.13503 0.26593 0.22731 0.75937
KNN 2 0.21805 0.17691 0.17157 0.12798 0.26316 0.22439 0.75758
KNN 3 0.21805 0.17691 0.17324 0.12974 0.26741 0.22887 0.75753
KNN 8 0.19549 0.15316 0.16038 0.11620 0.25112 0.21172 0.76130
KNNW 4 0.19549 0.15316 0.17384 0.13038 0.26512 0.22645 0.75256
KNNW 5 0.21805 0.17691 0.17135 0.12775 0.26738 0.22884 0.75401
KNNW 15 0.19549 0.15316 0.15467 0.11020 0.25600 0.21686 0.75881
LOF 12 0.12782 0.08193 0.07559 0.02695 0.13127 0.08557 0.58957
LOF 84 0.09023 0.04236 0.08709 0.03906 0.16416 0.12018 0.63897
LOF 85 0.09023 0.04236 0.08684 0.03880 0.16486 0.12093 0.63969
LOF 100 0.08271 0.03445 0.08662 0.03856 0.16327 0.11924 0.65068
SimplifiedLOF 22 0.14286 0.09776 0.08268 0.03442 0.14516 0.10019 0.60953
SimplifiedLOF 92 0.12782 0.08193 0.09333 0.04563 0.15833 0.11405 0.63542
SimplifiedLOF 97 0.12782 0.08193 0.09394 0.04627 0.15768 0.11336 0.63466
SimplifiedLOF 100 0.12782 0.08193 0.09312 0.04541 0.15880 0.11454 0.63461
LoOP 38 0.12030 0.07402 0.07407 0.02535 0.12338 0.07726 0.58833
LoOP 94 0.09774 0.05028 0.08157 0.03325 0.15009 0.10538 0.60687
LoOP 100 0.09774 0.05028 0.08204 0.03374 0.14870 0.10391 0.60814
LDOF 66 0.11278 0.06610 0.06025 0.01080 0.11364 0.06700 0.52838
LDOF 77 0.11278 0.06610 0.06192 0.01257 0.12500 0.07897 0.53393
LDOF 98 0.10526 0.05819 0.06403 0.01478 0.11360 0.06697 0.53956
LDOF 100 0.09774 0.05028 0.06399 0.01475 0.11497 0.06841 0.54130
ODIN 14 0.03818 -0.01242 0.05773 0.00816 0.11741 0.07097 0.58728
ODIN 91 0.06015 0.01070 0.06059 0.01116 0.11548 0.06895 0.58183
ODIN 94 0.06015 0.01070 0.06070 0.01128 0.11752 0.07109 0.58305
ODIN 100 0.06015 0.01070 0.06063 0.01121 0.12227 0.07609 0.57949
FastABOD 3 0.17293 0.12942 0.14986 0.10514 0.22378 0.18294 0.76006
FastABOD 6 0.18797 0.14525 0.14758 0.10273 0.22330 0.18244 0.75688
FastABOD 74 0.18797 0.14525 0.14739 0.10254 0.22500 0.18423 0.76037
FastABOD 99 0.18797 0.14525 0.14769 0.10285 0.22500 0.18423 0.76089
KDEOS 92 0.07519 0.02653 0.07066 0.02177 0.14085 0.09564 0.61821
KDEOS 99 0.07519 0.02653 0.07098 0.02210 0.13873 0.09342 0.61561
KDEOS 100 0.08271 0.03445 0.07073 0.02184 0.13859 0.09328 0.61559
LDF 57 0.17293 0.12942 0.11536 0.06882 0.19816 0.15597 0.69926
LDF 73 0.16541 0.12151 0.13137 0.08568 0.19725 0.15501 0.71584
LDF 96 0.17293 0.12942 0.12481 0.07877 0.21017 0.16862 0.73228
LDF 99 0.17293 0.12942 0.12621 0.08024 0.20946 0.16787 0.73488
INFLO 22 0.11278 0.06610 0.07413 0.02542 0.14139 0.09621 0.58987
INFLO 58 0.09023 0.04236 0.08316 0.03492 0.16458 0.12063 0.64536
INFLO 100 0.08271 0.03445 0.08515 0.03701 0.16640 0.12254 0.62948
COF 69 0.13534 0.08985 0.13667 0.09125 0.20031 0.15824 0.67758
COF 72 0.13534 0.08985 0.13262 0.08699 0.20779 0.16611 0.68049
COF 99 0.18045 0.13733 0.13194 0.08627 0.20161 0.15961 0.68534
COF 100 0.17293 0.12942 0.13248 0.08684 0.20361 0.16171 0.68581

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 57 attributes, 2934 objects, 146 outliers (4.98%)

Download raw algorithm results (24.0 MB) Download raw algorithm evaluation table (69.5 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.19863 0.15666 0.17371 0.13044 0.23721 0.19726 0.73617
KNN 2 0.20548 0.16387 0.17644 0.13331 0.24878 0.20944 0.73107
KNN 3 0.19863 0.15666 0.18309 0.14032 0.24623 0.20676 0.72975
KNNW 1 0.22603 0.18550 0.18773 0.14519 0.25532 0.21632 0.70938
KNNW 3 0.21918 0.17829 0.18257 0.13976 0.25178 0.21260 0.73594
KNNW 4 0.21918 0.17829 0.18806 0.14554 0.25352 0.21443 0.73489
KNNW 6 0.21233 0.17108 0.18313 0.14036 0.25728 0.21839 0.73163
LOF 5 0.15068 0.10621 0.07881 0.03057 0.15632 0.11214 0.61367
LOF 6 0.14384 0.09900 0.07940 0.03119 0.15881 0.11476 0.60453
LOF 100 0.10274 0.05575 0.09809 0.05086 0.13549 0.09022 0.60487
SimplifiedLOF 4 0.13014 0.08458 0.08110 0.03298 0.16285 0.11901 0.62859
SimplifiedLOF 8 0.15068 0.10621 0.07638 0.02801 0.16234 0.11847 0.60334
SimplifiedLOF 100 0.13699 0.09179 0.08247 0.03442 0.13855 0.09344 0.59109
LoOP 4 0.10959 0.06296 0.08454 0.03660 0.13588 0.09063 0.61234
LoOP 7 0.11644 0.07017 0.08532 0.03742 0.13551 0.09024 0.59385
LoOP 9 0.15068 0.10621 0.07925 0.03104 0.15924 0.11521 0.59012
LDOF 4 0.08219 0.03413 0.06356 0.01452 0.12967 0.08409 0.52789
LDOF 5 0.09589 0.04854 0.07065 0.02198 0.12432 0.07847 0.53217
LDOF 9 0.10959 0.06296 0.06381 0.01479 0.11448 0.06811 0.51895
LDOF 100 0.08904 0.04134 0.06992 0.02122 0.12346 0.07755 0.55606
ODIN 2 0.07156 0.02294 0.06597 0.01706 0.12254 0.07659 0.61805
ODIN 6 0.06587 0.01695 0.06360 0.01457 0.12584 0.08007 0.60937
ODIN 100 0.08562 0.03773 0.06685 0.01799 0.11225 0.06576 0.57267
FastABOD 3 0.15753 0.11342 0.11455 0.06818 0.21497 0.17386 0.74407
FastABOD 8 0.15068 0.10621 0.13166 0.08619 0.23318 0.19303 0.74559
FastABOD 9 0.15753 0.11342 0.13294 0.08754 0.23214 0.19193 0.74635
FastABOD 100 0.15753 0.11342 0.15715 0.11302 0.22944 0.18908 0.74462
KDEOS 2 0.08904 0.04134 0.06420 0.01519 0.10758 0.06085 0.54391
KDEOS 98 0.06849 0.01971 0.06739 0.01856 0.13544 0.09016 0.60448
KDEOS 100 0.06849 0.01971 0.06803 0.01922 0.13428 0.08894 0.60507
LDF 74 0.17808 0.13504 0.12724 0.08153 0.18391 0.14117 0.59805
LDF 93 0.19863 0.15666 0.11513 0.06879 0.20478 0.16313 0.63682
LDF 100 0.19863 0.15666 0.11331 0.06688 0.20209 0.16031 0.64699
INFLO 9 0.13014 0.08458 0.07088 0.02223 0.13592 0.09067 0.57491
INFLO 100 0.10959 0.06296 0.09797 0.05073 0.16138 0.11747 0.61184
COF 4 0.13014 0.08458 0.08727 0.03947 0.14488 0.10010 0.63330
COF 5 0.13699 0.09179 0.08639 0.03855 0.14576 0.10102 0.62139
COF 6 0.13699 0.09179 0.09103 0.04343 0.15562 0.11140 0.62901
COF 9 0.13014 0.08458 0.08471 0.03678 0.16121 0.11728 0.59748

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO