Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

SpamBase (5% of outliers version#08)

A data set representing emails classified as spam (outliers) or nonspam.

Download all data set variants used (25.4 MB). You can also access the original data. (spambase.data)

Normalized, without duplicates

This version contains 57 attributes, 2661 objects, 133 outliers (5.00%)

Download raw algorithm results (23.8 MB) Download raw algorithm evaluation table (70.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.21805 0.17691 0.14480 0.09981 0.25708 0.21800 0.70231
KNN 5 0.20301 0.16108 0.15936 0.11513 0.26559 0.22696 0.74418
KNN 6 0.20301 0.16108 0.16115 0.11702 0.26667 0.22809 0.74109
KNN 8 0.20301 0.16108 0.15471 0.11024 0.27089 0.23253 0.73651
KNNW 1 0.24060 0.20065 0.14865 0.10386 0.26519 0.22653 0.69311
KNNW 6 0.21053 0.16899 0.15452 0.11004 0.26752 0.22898 0.73886
KNNW 9 0.22556 0.18482 0.15721 0.11287 0.25696 0.21787 0.74438
LOF 81 0.11278 0.06610 0.12733 0.08142 0.23611 0.19592 0.71486
LOF 90 0.12782 0.08193 0.12746 0.08155 0.24071 0.20077 0.71419
LOF 95 0.13534 0.08985 0.12761 0.08172 0.23845 0.19838 0.71348
LOF 99 0.13534 0.08985 0.12882 0.08298 0.23669 0.19653 0.71298
SimplifiedLOF 13 0.12782 0.08193 0.08534 0.03721 0.18048 0.13736 0.64395
SimplifiedLOF 41 0.04511 -0.00512 0.08536 0.03724 0.18774 0.14501 0.69970
SimplifiedLOF 42 0.04511 -0.00512 0.08555 0.03744 0.18972 0.14709 0.69937
SimplifiedLOF 100 0.10526 0.05819 0.10255 0.05533 0.18022 0.13709 0.67324
LoOP 12 0.13534 0.08985 0.09165 0.04386 0.18727 0.14451 0.64515
LoOP 100 0.10526 0.05819 0.12054 0.07427 0.22057 0.17956 0.71137
LDOF 19 0.13534 0.08985 0.09602 0.04846 0.16814 0.12438 0.66157
LDOF 53 0.08271 0.03445 0.09838 0.05095 0.18052 0.13740 0.70049
LDOF 61 0.07519 0.02653 0.09896 0.05155 0.18598 0.14315 0.69762
LDOF 95 0.09023 0.04236 0.11250 0.06580 0.17433 0.13090 0.68809
ODIN 7 0.12587 0.07989 0.07106 0.02219 0.13043 0.08469 0.59579
ODIN 97 0.10359 0.05643 0.10410 0.05696 0.19237 0.14988 0.69880
ODIN 100 0.10479 0.05770 0.10436 0.05724 0.19195 0.14944 0.69980
FastABOD 4 0.20301 0.16108 0.13094 0.08522 0.23295 0.19260 0.71375
FastABOD 8 0.21053 0.16899 0.13216 0.08650 0.23598 0.19578 0.70893
FastABOD 17 0.21053 0.16899 0.13103 0.08531 0.24480 0.20507 0.70397
FastABOD 60 0.21053 0.16899 0.14305 0.09797 0.23382 0.19351 0.70462
KDEOS 13 0.05263 0.00279 0.05984 0.01038 0.13313 0.08753 0.54832
KDEOS 22 0.08271 0.03445 0.06137 0.01198 0.11601 0.06950 0.56323
KDEOS 48 0.05263 0.00279 0.05861 0.00909 0.11442 0.06783 0.57759
KDEOS 100 0.07519 0.02653 0.06369 0.01443 0.11479 0.06822 0.56854
LDF 7 0.09023 0.04236 0.09263 0.04489 0.19403 0.15163 0.72001
LDF 72 0.19549 0.15316 0.10934 0.06248 0.21661 0.17539 0.68000
LDF 73 0.18797 0.14525 0.10996 0.06314 0.21898 0.17789 0.68190
LDF 77 0.18797 0.14525 0.11071 0.06393 0.21379 0.17243 0.68740
INFLO 10 0.14286 0.09776 0.09889 0.05148 0.20704 0.16532 0.66835
INFLO 82 0.12030 0.07402 0.12846 0.08261 0.23611 0.19592 0.72736
INFLO 90 0.11278 0.06610 0.12922 0.08340 0.24071 0.20077 0.72724
INFLO 100 0.13534 0.08985 0.13097 0.08525 0.23988 0.19988 0.72584
COF 16 0.10526 0.05819 0.08771 0.03971 0.17427 0.13083 0.64900
COF 25 0.07519 0.02653 0.09267 0.04493 0.17899 0.13579 0.67615
COF 28 0.07519 0.02653 0.09159 0.04380 0.18497 0.14209 0.68197
COF 44 0.06767 0.01862 0.08356 0.03535 0.16615 0.12228 0.68573

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 57 attributes, 2934 objects, 146 outliers (4.98%)

Download raw algorithm results (24.2 MB) Download raw algorithm evaluation table (72.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.26027 0.22154 0.17431 0.13107 0.27463 0.23664 0.78172
KNNW 3 0.26027 0.22154 0.16720 0.12359 0.27389 0.23586 0.77829
KNNW 4 0.24658 0.20712 0.16488 0.12115 0.26748 0.22912 0.78038
LOF 8 0.08904 0.04134 0.09741 0.05015 0.18452 0.14181 0.74278
LOF 13 0.05479 0.00530 0.10209 0.05507 0.19704 0.15500 0.75570
LOF 14 0.05479 0.00530 0.10128 0.05421 0.19932 0.15740 0.75422
SimplifiedLOF 23 0.03425 -0.01633 0.08533 0.03743 0.17544 0.13226 0.72109
SimplifiedLOF 30 0.03425 -0.01633 0.08365 0.03567 0.18251 0.13970 0.71811
SimplifiedLOF 96 0.06164 0.01250 0.07139 0.02276 0.14568 0.10094 0.64689
LoOP 10 0.08904 0.04134 0.09260 0.04508 0.16623 0.12256 0.71867
LoOP 22 0.07534 0.02692 0.09984 0.05270 0.18892 0.14644 0.73802
LoOP 24 0.07534 0.02692 0.09947 0.05232 0.19092 0.14855 0.73863
LoOP 27 0.06849 0.01971 0.09822 0.05100 0.19355 0.15132 0.73674
LDOF 16 0.08219 0.03413 0.08784 0.04007 0.16781 0.12423 0.70610
LDOF 39 0.04110 -0.00912 0.09059 0.04297 0.19022 0.14781 0.72083
LDOF 52 0.04110 -0.00912 0.09134 0.04376 0.18370 0.14095 0.72326
LDOF 100 0.04795 -0.00191 0.09869 0.05149 0.17179 0.12842 0.70500
ODIN 50 0.13405 0.08870 0.10171 0.05467 0.18719 0.14463 0.70420
ODIN 99 0.16569 0.12200 0.10851 0.06183 0.20359 0.16189 0.70026
ODIN 100 0.16438 0.12062 0.10877 0.06210 0.20441 0.16275 0.70058
FastABOD 21 0.14384 0.09900 0.10276 0.05578 0.19287 0.15061 0.71915
FastABOD 27 0.15068 0.10621 0.10247 0.05547 0.19225 0.14995 0.71817
FastABOD 92 0.15068 0.10621 0.10580 0.05898 0.20137 0.15954 0.71735
FastABOD 99 0.15068 0.10621 0.10717 0.06042 0.19832 0.15634 0.71767
KDEOS 42 0.06164 0.01250 0.07325 0.02472 0.14375 0.09891 0.65640
KDEOS 48 0.08219 0.03413 0.07526 0.02684 0.14107 0.09609 0.66081
KDEOS 62 0.08904 0.04134 0.07544 0.02702 0.13919 0.09412 0.65982
LDF 5 0.13014 0.08458 0.11685 0.07060 0.22076 0.17996 0.75872
LDF 6 0.15068 0.10621 0.11456 0.06819 0.20496 0.16332 0.76178
INFLO 6 0.08904 0.04134 0.09251 0.04498 0.17049 0.12705 0.72384
INFLO 13 0.06164 0.01250 0.09990 0.05277 0.19792 0.15591 0.75157
INFLO 16 0.06164 0.01250 0.09825 0.05103 0.20459 0.16293 0.74245
COF 21 0.09589 0.04854 0.09660 0.04930 0.18880 0.14632 0.73621
COF 29 0.08219 0.03413 0.10015 0.05303 0.19958 0.15766 0.74721

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 57 attributes, 2661 objects, 133 outliers (5.00%)

Download raw algorithm results (23.2 MB) Download raw algorithm evaluation table (67.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 3 0.29323 0.25605 0.22261 0.18171 0.30631 0.26981 0.76772
KNN 5 0.29323 0.25605 0.23165 0.19123 0.30978 0.27347 0.77126
KNN 6 0.28571 0.24814 0.23171 0.19129 0.29798 0.26105 0.77202
KNN 8 0.29323 0.25605 0.22834 0.18774 0.30000 0.26317 0.77395
KNNW 8 0.29323 0.25605 0.22719 0.18653 0.29752 0.26056 0.77190
KNNW 9 0.29323 0.25605 0.22793 0.18731 0.29658 0.25957 0.77251
KNNW 15 0.27068 0.23231 0.22664 0.18595 0.30448 0.26789 0.77355
KNNW 17 0.26316 0.22439 0.22615 0.18544 0.30539 0.26885 0.77320
LOF 33 0.15789 0.11359 0.10520 0.05812 0.16990 0.12623 0.65723
LOF 36 0.15038 0.10568 0.10630 0.05928 0.17391 0.13045 0.65980
LOF 100 0.15038 0.10568 0.12206 0.07587 0.16803 0.12426 0.68317
SimplifiedLOF 46 0.18045 0.13733 0.11508 0.06853 0.18327 0.14030 0.65941
SimplifiedLOF 98 0.18045 0.13733 0.13604 0.09058 0.20264 0.16069 0.67810
SimplifiedLOF 99 0.18045 0.13733 0.13635 0.09091 0.20444 0.16259 0.67792
SimplifiedLOF 100 0.18045 0.13733 0.13620 0.09076 0.20721 0.16550 0.67808
LoOP 59 0.15789 0.11359 0.09540 0.04781 0.17021 0.12656 0.63330
LoOP 62 0.15789 0.11359 0.09689 0.04937 0.17241 0.12887 0.63373
LoOP 88 0.13534 0.08985 0.10495 0.05786 0.15625 0.11186 0.64793
LoOP 98 0.14286 0.09776 0.10349 0.05633 0.15827 0.11399 0.65264
LDOF 2 0.13534 0.08985 0.08831 0.04035 0.14987 0.10514 0.53579
LDOF 67 0.15789 0.11359 0.08409 0.03590 0.16170 0.11760 0.57997
LDOF 87 0.15038 0.10568 0.08683 0.03879 0.16667 0.12282 0.59608
LDOF 100 0.15038 0.10568 0.08805 0.04007 0.15873 0.11447 0.60596
ODIN 59 0.07519 0.02653 0.06464 0.01543 0.12560 0.07960 0.60219
ODIN 96 0.07089 0.02201 0.06806 0.01903 0.13767 0.09230 0.61014
FastABOD 4 0.26316 0.22439 0.19776 0.15556 0.28013 0.24226 0.77541
FastABOD 7 0.24812 0.20856 0.19873 0.15657 0.28767 0.25020 0.78057
FastABOD 13 0.24060 0.20065 0.19901 0.15686 0.27964 0.24174 0.77961
KDEOS 76 0.09023 0.04236 0.07093 0.02205 0.14355 0.09849 0.63887
KDEOS 85 0.11278 0.06610 0.07297 0.02420 0.14076 0.09556 0.63902
KDEOS 99 0.10526 0.05819 0.07578 0.02716 0.13958 0.09431 0.64578
KDEOS 100 0.09774 0.05028 0.07541 0.02677 0.14005 0.09481 0.64579
LDF 69 0.24060 0.20065 0.17844 0.13522 0.25698 0.21789 0.72146
LDF 70 0.24060 0.20065 0.18135 0.13828 0.25778 0.21873 0.72291
LDF 77 0.23308 0.19273 0.17304 0.12953 0.27136 0.23302 0.72518
LDF 100 0.24060 0.20065 0.15911 0.11487 0.26214 0.22332 0.73051
INFLO 19 0.14286 0.09776 0.08919 0.04127 0.15024 0.10553 0.61913
INFLO 74 0.10526 0.05819 0.10942 0.06256 0.17665 0.13333 0.68409
INFLO 100 0.12030 0.07402 0.11409 0.06749 0.17722 0.13393 0.67564
COF 67 0.24060 0.20065 0.18688 0.14410 0.27083 0.23247 0.68849
COF 83 0.24060 0.20065 0.19557 0.15325 0.26316 0.22439 0.69814
COF 86 0.24436 0.20461 0.19644 0.15417 0.26178 0.22294 0.69593
COF 93 0.25564 0.21648 0.19553 0.15320 0.26455 0.22586 0.69707

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 57 attributes, 2934 objects, 146 outliers (4.98%)

Download raw algorithm results (24.0 MB) Download raw algorithm evaluation table (70.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.21233 0.17108 0.16210 0.11822 0.22961 0.18926 0.77021
KNN 2 0.20548 0.16387 0.16565 0.12196 0.22941 0.18906 0.76038
KNNW 1 0.20548 0.16387 0.16098 0.11704 0.24642 0.20696 0.73900
KNNW 2 0.22603 0.18550 0.16083 0.11689 0.23678 0.19681 0.75519
KNNW 3 0.19863 0.15666 0.16502 0.12130 0.23151 0.19127 0.75887
LOF 4 0.04795 -0.00191 0.06484 0.01586 0.13648 0.09126 0.59713
LOF 8 0.08904 0.04134 0.06675 0.01788 0.12658 0.08084 0.59116
LOF 100 0.05479 0.00530 0.07074 0.02207 0.12847 0.08283 0.60613
SimplifiedLOF 5 0.05479 0.00530 0.06477 0.01579 0.13004 0.08448 0.61142
SimplifiedLOF 7 0.09589 0.04854 0.06835 0.01956 0.12786 0.08219 0.60987
LoOP 1 0.10274 0.05575 0.06792 0.01911 0.11054 0.06396 0.55286
LoOP 6 0.07534 0.02692 0.06735 0.01851 0.13031 0.08477 0.60388
LoOP 7 0.07534 0.02692 0.06891 0.02015 0.12698 0.08127 0.60620
LoOP 9 0.09589 0.04854 0.06990 0.02120 0.12421 0.07835 0.60027
LDOF 2 0.08904 0.04134 0.06329 0.01423 0.10213 0.05511 0.49129
LDOF 16 0.04110 -0.00912 0.05364 0.00408 0.11301 0.06656 0.52498
LDOF 19 0.04795 -0.00191 0.05366 0.00410 0.11013 0.06353 0.52635
ODIN 9 0.03986 -0.01042 0.06541 0.01647 0.13272 0.08730 0.62890
ODIN 51 0.06164 0.01250 0.05393 0.00439 0.11336 0.06693 0.55111
FastABOD 8 0.17808 0.13504 0.12740 0.08171 0.21834 0.17741 0.75292
FastABOD 15 0.17808 0.13504 0.13112 0.08561 0.22173 0.18097 0.75052
FastABOD 63 0.18493 0.14225 0.13316 0.08777 0.21826 0.17733 0.74693
FastABOD 100 0.18493 0.14225 0.14356 0.09871 0.22129 0.18052 0.74865
KDEOS 48 0.05479 0.00530 0.06562 0.01669 0.13915 0.09407 0.61059
KDEOS 56 0.07534 0.02692 0.06721 0.01837 0.13574 0.09048 0.61317
KDEOS 80 0.09589 0.04854 0.06762 0.01880 0.12785 0.08218 0.60407
KDEOS 100 0.09589 0.04854 0.07120 0.02257 0.12704 0.08133 0.60620
LDF 85 0.14384 0.09900 0.09365 0.04619 0.16327 0.11945 0.64558
LDF 90 0.15753 0.11342 0.09485 0.04745 0.16194 0.11806 0.65445
LDF 97 0.13699 0.09179 0.10251 0.05551 0.15638 0.11220 0.67022
LDF 100 0.14384 0.09900 0.09718 0.04990 0.16181 0.11792 0.67541
INFLO 9 0.06849 0.01971 0.06790 0.01908 0.14345 0.09859 0.60963
INFLO 11 0.07534 0.02692 0.06375 0.01473 0.13564 0.09038 0.58520
INFLO 96 0.06164 0.01250 0.06691 0.01804 0.15948 0.11547 0.57773
COF 10 0.11644 0.07017 0.07371 0.02520 0.12467 0.07883 0.61392
COF 12 0.11644 0.07017 0.07372 0.02522 0.13017 0.08462 0.61940
COF 26 0.08904 0.04134 0.07036 0.02168 0.13902 0.09393 0.62171

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO