Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

SpamBase (5% of outliers version#09)

A data set representing emails classified as spam (outliers) or nonspam.

Download all data set variants used (25.4 MB). You can also access the original data. (spambase.data)

Normalized, without duplicates

This version contains 57 attributes, 2661 objects, 133 outliers (5.00%)

Download raw algorithm results (23.8 MB) Download raw algorithm evaluation table (71.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.17293 0.12942 0.16313 0.11910 0.27168 0.23336 0.77242
KNNW 1 0.21805 0.17691 0.14706 0.10219 0.24371 0.20392 0.69686
KNNW 3 0.18797 0.14525 0.15906 0.11482 0.25312 0.21383 0.76382
KNNW 4 0.17293 0.12942 0.15939 0.11517 0.24955 0.21007 0.76473
LOF 7 0.12030 0.07402 0.09410 0.04644 0.17764 0.13438 0.69551
LOF 24 0.06015 0.01070 0.09671 0.04919 0.20475 0.16291 0.72871
LOF 78 0.12030 0.07402 0.11605 0.06954 0.22010 0.17906 0.72727
LOF 80 0.12030 0.07402 0.11536 0.06882 0.22062 0.17962 0.72632
SimplifiedLOF 34 0.03008 -0.02095 0.08694 0.03890 0.19025 0.14765 0.70838
SimplifiedLOF 47 0.03008 -0.02095 0.08834 0.04037 0.19200 0.14949 0.70331
SimplifiedLOF 93 0.10526 0.05819 0.09192 0.04415 0.17021 0.12656 0.69028
SimplifiedLOF 100 0.10526 0.05819 0.09462 0.04699 0.17391 0.13045 0.69285
LoOP 83 0.12030 0.07402 0.11848 0.07210 0.20451 0.16266 0.72985
LoOP 87 0.12030 0.07402 0.11931 0.07298 0.20521 0.16340 0.73016
LoOP 90 0.12030 0.07402 0.11897 0.07262 0.20513 0.16331 0.73106
LoOP 97 0.11278 0.06610 0.11903 0.07268 0.21236 0.17092 0.73052
LDOF 98 0.12030 0.07402 0.11193 0.06520 0.19312 0.15067 0.71506
LDOF 99 0.12030 0.07402 0.11199 0.06527 0.19174 0.14922 0.71506
LDOF 100 0.12030 0.07402 0.11185 0.06512 0.19198 0.14947 0.71520
ODIN 98 0.15315 0.10859 0.11442 0.06783 0.19476 0.15239 0.70594
ODIN 100 0.14962 0.10489 0.11487 0.06830 0.19697 0.15472 0.70698
FastABOD 5 0.12782 0.08193 0.11689 0.07043 0.21818 0.17705 0.71982
FastABOD 8 0.14286 0.09776 0.11794 0.07154 0.20890 0.16728 0.72100
FastABOD 11 0.15789 0.11359 0.11972 0.07341 0.20885 0.16723 0.71870
FastABOD 70 0.15038 0.10568 0.13733 0.09194 0.21314 0.17175 0.71649
KDEOS 3 0.09023 0.04236 0.05745 0.00787 0.10553 0.05847 0.53344
KDEOS 15 0.05263 0.00279 0.07774 0.02922 0.13092 0.08520 0.60445
KDEOS 25 0.06767 0.01862 0.06653 0.01742 0.12045 0.07417 0.61035
LDF 5 0.10526 0.05819 0.10223 0.05499 0.19847 0.15630 0.71548
LDF 6 0.09023 0.04236 0.09903 0.05163 0.19972 0.15762 0.72312
LDF 7 0.08271 0.03445 0.09915 0.05175 0.19685 0.15460 0.72629
LDF 54 0.15038 0.10568 0.08274 0.03449 0.15942 0.11520 0.60767
INFLO 8 0.11278 0.06610 0.08935 0.04143 0.17266 0.12913 0.68262
INFLO 55 0.10526 0.05819 0.12258 0.07642 0.21451 0.17319 0.73998
INFLO 78 0.11278 0.06610 0.12178 0.07558 0.21678 0.17558 0.74213
INFLO 86 0.10526 0.05819 0.12119 0.07495 0.22472 0.18393 0.73988
COF 29 0.09774 0.05028 0.10517 0.05809 0.22405 0.18323 0.72818
COF 30 0.09774 0.05028 0.10548 0.05842 0.22061 0.17961 0.72921
COF 97 0.13534 0.08985 0.11372 0.06709 0.17953 0.13637 0.66757
COF 98 0.14286 0.09776 0.11312 0.06646 0.18048 0.13736 0.66582

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 57 attributes, 2934 objects, 146 outliers (4.98%)

Download raw algorithm results (24.2 MB) Download raw algorithm evaluation table (72.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.15068 0.10621 0.13141 0.08593 0.22581 0.18526 0.77257
KNN 5 0.16438 0.12062 0.13933 0.09426 0.23093 0.19065 0.77176
KNN 7 0.17808 0.13504 0.13838 0.09325 0.23664 0.19667 0.76727
KNNW 8 0.13699 0.09179 0.13395 0.08860 0.24351 0.20390 0.76958
KNNW 10 0.14384 0.09900 0.13637 0.09114 0.24074 0.20098 0.76875
KNNW 18 0.17123 0.12783 0.13168 0.08621 0.22727 0.18681 0.75759
LOF 8 0.09589 0.04854 0.07973 0.03153 0.14776 0.10313 0.66415
LOF 12 0.09589 0.04854 0.08806 0.04030 0.17266 0.12934 0.69654
LOF 23 0.03425 -0.01633 0.08308 0.03506 0.16362 0.11983 0.71525
LOF 33 0.02740 -0.02354 0.08088 0.03275 0.17587 0.13272 0.70983
SimplifiedLOF 14 0.09589 0.04854 0.07535 0.02693 0.14961 0.10508 0.65056
SimplifiedLOF 39 0.02740 -0.02354 0.07529 0.02687 0.15863 0.11457 0.69222
LoOP 10 0.07534 0.02692 0.08187 0.03379 0.16547 0.12177 0.63768
LoOP 17 0.10959 0.06296 0.08643 0.03859 0.15178 0.10736 0.67133
LoOP 21 0.10959 0.06296 0.08753 0.03975 0.15691 0.11276 0.68350
LoOP 42 0.10274 0.05575 0.08413 0.03617 0.15805 0.11396 0.70378
LDOF 17 0.10959 0.06296 0.07905 0.03082 0.14706 0.10239 0.63221
LDOF 78 0.06164 0.01250 0.08843 0.04069 0.16073 0.11678 0.69615
LDOF 80 0.06164 0.01250 0.08524 0.03734 0.16113 0.11720 0.69675
LDOF 83 0.06849 0.01971 0.08464 0.03670 0.16355 0.11974 0.69563
ODIN 70 0.10274 0.05575 0.09548 0.04811 0.18144 0.13858 0.70474
ODIN 96 0.09198 0.04443 0.10201 0.05499 0.20604 0.16447 0.71498
ODIN 99 0.09295 0.04546 0.10263 0.05564 0.20274 0.16099 0.71621
FastABOD 20 0.06849 0.01971 0.08669 0.03886 0.17241 0.12908 0.68441
FastABOD 35 0.06164 0.01250 0.08705 0.03924 0.17654 0.13342 0.68475
FastABOD 75 0.05479 0.00530 0.09156 0.04398 0.17910 0.13612 0.68428
FastABOD 98 0.06164 0.01250 0.09183 0.04427 0.17865 0.13564 0.68322
KDEOS 16 0.09589 0.04854 0.06315 0.01409 0.11417 0.06778 0.57336
KDEOS 28 0.07534 0.02692 0.06788 0.01906 0.12957 0.08399 0.61996
KDEOS 55 0.05479 0.00530 0.06550 0.01657 0.13216 0.08671 0.63152
LDF 5 0.08219 0.03413 0.09279 0.04529 0.16717 0.12356 0.67908
LDF 6 0.06849 0.01971 0.09110 0.04351 0.17391 0.13065 0.70115
LDF 7 0.08219 0.03413 0.08739 0.03960 0.16985 0.12637 0.71365
LDF 16 0.10274 0.05575 0.07498 0.02653 0.13577 0.09051 0.63836
INFLO 9 0.08219 0.03413 0.07913 0.03091 0.17178 0.12841 0.64223
INFLO 12 0.09589 0.04854 0.08221 0.03415 0.16032 0.11635 0.65338
INFLO 14 0.09589 0.04854 0.08251 0.03447 0.15686 0.11271 0.66907
INFLO 39 0.02740 -0.02354 0.07678 0.02844 0.16497 0.12124 0.69708
COF 18 0.10274 0.05575 0.07800 0.02972 0.15000 0.10549 0.65635
COF 30 0.08904 0.04134 0.08600 0.03813 0.17945 0.13648 0.69730
COF 37 0.05479 0.00530 0.08553 0.03764 0.18379 0.14105 0.70408
COF 49 0.05479 0.00530 0.08091 0.03278 0.18527 0.14261 0.68104

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 57 attributes, 2661 objects, 133 outliers (5.00%)

Download raw algorithm results (23.2 MB) Download raw algorithm evaluation table (68.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.21805 0.17691 0.18768 0.14495 0.24272 0.20288 0.75748
KNN 3 0.24060 0.20065 0.18123 0.13815 0.24855 0.20902 0.74974
KNN 12 0.19549 0.15316 0.14845 0.10365 0.25231 0.21297 0.73923
KNNW 2 0.23308 0.19273 0.17886 0.13566 0.23396 0.19366 0.75391
KNNW 3 0.22556 0.18482 0.18314 0.14016 0.23636 0.19619 0.75703
KNNW 4 0.21053 0.16899 0.18326 0.14029 0.24316 0.20334 0.75639
KNNW 11 0.21805 0.17691 0.17093 0.12731 0.25058 0.21115 0.74867
LOF 7 0.14286 0.09776 0.08777 0.03978 0.15190 0.10728 0.60922
LOF 74 0.09774 0.05028 0.09916 0.05177 0.14857 0.10378 0.64360
LOF 97 0.08271 0.03445 0.09653 0.04900 0.15292 0.10836 0.65542
LOF 100 0.08271 0.03445 0.09647 0.04893 0.15182 0.10720 0.65793
SimplifiedLOF 9 0.14286 0.09776 0.08879 0.04085 0.15232 0.10772 0.61078
SimplifiedLOF 81 0.12782 0.08193 0.10164 0.05438 0.14552 0.10056 0.63387
SimplifiedLOF 93 0.12782 0.08193 0.10044 0.05312 0.15385 0.10933 0.64104
SimplifiedLOF 98 0.12782 0.08193 0.10021 0.05287 0.15194 0.10733 0.64315
LoOP 8 0.11278 0.06610 0.07221 0.02339 0.12457 0.07851 0.60031
LoOP 19 0.10526 0.05819 0.08073 0.03237 0.13391 0.08834 0.62085
LoOP 21 0.10526 0.05819 0.08212 0.03383 0.14137 0.09620 0.62012
LoOP 99 0.10526 0.05819 0.08576 0.03766 0.13409 0.08854 0.61466
LDOF 22 0.10526 0.05819 0.07195 0.02313 0.11776 0.07135 0.55605
LDOF 49 0.09774 0.05028 0.07370 0.02496 0.12461 0.07856 0.55048
LDOF 98 0.09023 0.04236 0.07417 0.02546 0.11299 0.06632 0.56534
LDOF 100 0.09023 0.04236 0.07419 0.02549 0.11200 0.06528 0.56439
ODIN 12 0.07143 0.02258 0.06528 0.01611 0.12543 0.07942 0.60331
ODIN 13 0.07472 0.02604 0.06612 0.01699 0.12071 0.07445 0.60419
ODIN 43 0.10261 0.05540 0.06616 0.01702 0.11182 0.06510 0.57575
ODIN 47 0.09452 0.04688 0.06617 0.01704 0.11192 0.06520 0.57645
FastABOD 3 0.18045 0.13733 0.15470 0.11023 0.21515 0.17386 0.75930
FastABOD 7 0.18797 0.14525 0.14851 0.10371 0.21608 0.17484 0.75366
FastABOD 63 0.18797 0.14525 0.14787 0.10304 0.22340 0.18255 0.74688
KDEOS 51 0.05263 0.00279 0.06768 0.01864 0.13889 0.09359 0.62230
KDEOS 73 0.09023 0.04236 0.07203 0.02320 0.13402 0.08846 0.62591
KDEOS 94 0.08271 0.03445 0.07253 0.02373 0.13253 0.08689 0.63012
KDEOS 99 0.08271 0.03445 0.07246 0.02367 0.13299 0.08738 0.63099
LDF 66 0.17293 0.12942 0.12965 0.08386 0.20051 0.15845 0.68426
LDF 70 0.18797 0.14525 0.12707 0.08115 0.20561 0.16381 0.69211
LDF 95 0.18797 0.14525 0.12510 0.07907 0.22081 0.17981 0.70796
LDF 96 0.18797 0.14525 0.12521 0.07919 0.21721 0.17603 0.70821
INFLO 8 0.11278 0.06610 0.08200 0.03370 0.13403 0.08848 0.59384
INFLO 87 0.10526 0.05819 0.09817 0.05073 0.17467 0.13124 0.65194
COF 22 0.17293 0.12942 0.12066 0.07440 0.18623 0.14342 0.65718
COF 75 0.13534 0.08985 0.12257 0.07641 0.16507 0.12114 0.66577
COF 79 0.12782 0.08193 0.12281 0.07666 0.16580 0.12192 0.66049

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 57 attributes, 2934 objects, 146 outliers (4.98%)

Download raw algorithm results (23.9 MB) Download raw algorithm evaluation table (70.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.30822 0.27199 0.25458 0.21554 0.31694 0.28117 0.78687
KNN 3 0.28767 0.25037 0.24779 0.20839 0.33609 0.30132 0.78425
KNN 8 0.28082 0.24316 0.26166 0.22299 0.32386 0.28846 0.78512
KNNW 7 0.30822 0.27199 0.25009 0.21082 0.33333 0.29842 0.78364
KNNW 9 0.29452 0.25758 0.25486 0.21583 0.32967 0.29457 0.78413
KNNW 11 0.28767 0.25037 0.25909 0.22029 0.33429 0.29943 0.78377
KNNW 12 0.28767 0.25037 0.25967 0.22090 0.33238 0.29742 0.78391
LOF 92 0.10274 0.05575 0.09550 0.04814 0.17035 0.12690 0.65949
LOF 98 0.11644 0.07017 0.09854 0.05133 0.16691 0.12328 0.66495
LOF 100 0.11644 0.07017 0.10194 0.05491 0.16692 0.12329 0.66861
SimplifiedLOF 87 0.08904 0.04134 0.08140 0.03330 0.17085 0.12743 0.65004
SimplifiedLOF 99 0.13014 0.08458 0.08688 0.03906 0.16716 0.12355 0.65338
SimplifiedLOF 100 0.15068 0.10621 0.08795 0.04019 0.16970 0.12622 0.65335
LoOP 1 0.10959 0.06296 0.06508 0.01612 0.11111 0.06456 0.51026
LoOP 30 0.04795 -0.00191 0.06934 0.02061 0.13786 0.09271 0.63050
LoOP 100 0.09589 0.04854 0.07762 0.02932 0.14815 0.10354 0.62782
LDOF 81 0.08219 0.03413 0.06218 0.01307 0.12121 0.07519 0.58275
LDOF 86 0.08219 0.03413 0.06299 0.01392 0.12520 0.07938 0.58475
LDOF 99 0.08219 0.03413 0.06521 0.01626 0.12324 0.07733 0.59132
LDOF 100 0.08219 0.03413 0.06551 0.01657 0.12411 0.07825 0.59043
ODIN 1 0.05627 0.00685 0.05706 0.00768 0.10857 0.06189 0.56783
ODIN 15 0.01033 -0.04149 0.06052 0.01132 0.13404 0.08869 0.61250
ODIN 18 0.01358 -0.03807 0.06139 0.01224 0.13248 0.08705 0.61694
FastABOD 16 0.27397 0.23595 0.18355 0.14080 0.28061 0.24294 0.77195
FastABOD 73 0.27397 0.23595 0.21093 0.16961 0.29412 0.25715 0.77375
FastABOD 97 0.27397 0.23595 0.21172 0.17044 0.29412 0.25715 0.77432
FastABOD 100 0.27397 0.23595 0.21171 0.17043 0.29412 0.25715 0.77435
KDEOS 98 0.06849 0.01971 0.06924 0.02049 0.14454 0.09974 0.63323
KDEOS 99 0.06849 0.01971 0.06923 0.02049 0.14370 0.09886 0.63356
KDEOS 100 0.07534 0.02692 0.06941 0.02068 0.14407 0.09924 0.63311
LDF 98 0.25342 0.21433 0.18775 0.14521 0.28346 0.24594 0.73715
LDF 100 0.26027 0.22154 0.18361 0.14086 0.28452 0.24705 0.73945
INFLO 85 0.08904 0.04134 0.08584 0.03797 0.16971 0.12623 0.65378
INFLO 98 0.10959 0.06296 0.08981 0.04215 0.16750 0.12391 0.64434
INFLO 100 0.10959 0.06296 0.09176 0.04419 0.16930 0.12580 0.64974
COF 94 0.17123 0.12783 0.09564 0.04828 0.17182 0.12845 0.68313
COF 100 0.17123 0.12783 0.10891 0.06224 0.19231 0.15001 0.68881

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO