Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

SpamBase (20% of outliers version#09)

A data set representing emails classified as spam (outliers) or nonspam.

Download all data set variants used (25.4 MB). You can also access the original data. (spambase.data)

Normalized, without duplicates

This version contains 57 attributes, 3160 objects, 632 outliers (20.00%)

Download raw algorithm results (28.2 MB) Download raw algorithm evaluation table (74.2 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 3 0.34177 0.17722 0.28996 0.11245 0.39522 0.24402 0.64959
KNN 8 0.32911 0.16139 0.30234 0.12792 0.41954 0.27443 0.68306
KNN 9 0.32753 0.15941 0.30318 0.12897 0.42030 0.27538 0.68301
KNNW 10 0.33228 0.16535 0.28741 0.10927 0.40429 0.25536 0.65798
KNNW 15 0.31962 0.14953 0.29096 0.11370 0.41429 0.26787 0.66646
KNNW 18 0.31487 0.14359 0.29036 0.11295 0.41519 0.26898 0.66757
KNNW 21 0.31646 0.14557 0.28929 0.11161 0.41386 0.26732 0.66799
LOF 95 0.24209 0.05261 0.24315 0.05394 0.38200 0.22750 0.60383
LOF 100 0.25475 0.06843 0.24392 0.05489 0.37972 0.22465 0.60488
SimplifiedLOF 1 0.23418 0.04272 0.22047 0.02558 0.33369 0.16711 0.50644
SimplifiedLOF 2 0.24051 0.05063 0.21072 0.01340 0.33439 0.16799 0.49421
SimplifiedLOF 99 0.16930 -0.03837 0.21619 0.02024 0.36285 0.20356 0.54279
SimplifiedLOF 100 0.17089 -0.03639 0.21650 0.02062 0.36285 0.20356 0.54315
LoOP 10 0.23892 0.04866 0.21083 0.01354 0.33333 0.16667 0.51571
LoOP 98 0.21835 0.02294 0.22936 0.03670 0.36528 0.20661 0.56963
LoOP 100 0.21994 0.02492 0.23014 0.03768 0.36469 0.20586 0.57089
LDOF 14 0.24051 0.05063 0.21562 0.01952 0.33529 0.16912 0.52353
LDOF 96 0.19462 -0.00672 0.22409 0.03011 0.35969 0.19962 0.54753
LDOF 98 0.19462 -0.00672 0.22454 0.03068 0.35954 0.19942 0.54808
LDOF 100 0.19620 -0.00475 0.22487 0.03108 0.35879 0.19848 0.54802
ODIN 62 0.23917 0.04897 0.23416 0.04270 0.36580 0.20725 0.58353
ODIN 72 0.24991 0.06238 0.23643 0.04554 0.36251 0.20314 0.58642
ODIN 100 0.24435 0.05544 0.23801 0.04752 0.35775 0.19719 0.58972
FastABOD 10 0.28639 0.10799 0.24716 0.05895 0.34439 0.18049 0.57389
FastABOD 60 0.28006 0.10008 0.25111 0.06389 0.35130 0.18912 0.57802
FastABOD 81 0.27690 0.09612 0.24917 0.06146 0.35308 0.19136 0.57911
FastABOD 100 0.27848 0.09810 0.24847 0.06059 0.35294 0.19118 0.58015
KDEOS 3 0.23259 0.04074 0.22135 0.02669 0.33784 0.17230 0.49220
KDEOS 94 0.20570 0.00712 0.20328 0.00410 0.34960 0.18699 0.53021
KDEOS 97 0.21044 0.01305 0.20363 0.00454 0.35047 0.18808 0.52942
LDF 98 0.28165 0.10206 0.26820 0.08525 0.40094 0.25118 0.63990
LDF 100 0.28165 0.10206 0.26972 0.08715 0.40243 0.25304 0.64186
INFLO 13 0.23892 0.04866 0.21473 0.01841 0.34610 0.18263 0.53511
INFLO 99 0.22943 0.03679 0.24047 0.05059 0.37338 0.21673 0.59670
INFLO 100 0.22785 0.03481 0.24054 0.05067 0.37442 0.21802 0.59664
COF 1 0.22943 0.03679 0.21986 0.02482 0.33395 0.16744 0.50518
COF 2 0.23734 0.04668 0.21033 0.01291 0.33369 0.16711 0.49415
COF 41 0.19620 -0.00475 0.20770 0.00962 0.33903 0.17379 0.51962
COF 83 0.15348 -0.05815 0.20515 0.00644 0.35154 0.18942 0.50979

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 57 attributes, 3485 objects, 697 outliers (20.00%)

Download raw algorithm results (29.0 MB) Download raw algorithm evaluation table (74.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.31564 0.14455 0.27863 0.09829 0.38235 0.22794 0.62243
KNN 6 0.30129 0.12661 0.29223 0.11529 0.41757 0.27196 0.67136
KNN 7 0.30129 0.12661 0.29190 0.11488 0.41901 0.27377 0.67374
KNN 13 0.29986 0.12482 0.27985 0.09982 0.42189 0.27737 0.66602
KNNW 2 0.30416 0.13020 0.26477 0.08096 0.35276 0.19095 0.58350
KNNW 12 0.29125 0.11406 0.28420 0.10524 0.40418 0.25522 0.65473
KNNW 36 0.28551 0.10689 0.27715 0.09643 0.41470 0.26838 0.66131
KNNW 39 0.28407 0.10509 0.27673 0.09591 0.41570 0.26962 0.66117
LOF 2 0.26112 0.07640 0.23575 0.04469 0.33566 0.16958 0.54658
LOF 9 0.20947 0.01184 0.21929 0.02411 0.35139 0.18924 0.55666
LOF 40 0.18077 -0.02403 0.20053 0.00067 0.36275 0.20343 0.53830
SimplifiedLOF 2 0.25395 0.06743 0.23233 0.04042 0.33381 0.16727 0.53064
SimplifiedLOF 3 0.26829 0.08537 0.22647 0.03309 0.33333 0.16667 0.52756
SimplifiedLOF 4 0.26255 0.07819 0.22842 0.03552 0.33333 0.16667 0.53474
SimplifiedLOF 82 0.15638 -0.05452 0.19625 -0.00469 0.36092 0.20115 0.51956
LoOP 2 0.25108 0.06385 0.24256 0.05320 0.33333 0.16667 0.54735
LoOP 4 0.25251 0.06564 0.22870 0.03588 0.33333 0.16667 0.54703
LoOP 11 0.21951 0.02439 0.21634 0.02042 0.34542 0.18178 0.54768
LoOP 97 0.17217 -0.03479 0.20741 0.00926 0.36414 0.20518 0.53860
LDOF 2 0.24821 0.06026 0.22933 0.03666 0.33349 0.16687 0.49100
LDOF 4 0.25108 0.06385 0.22446 0.03058 0.33461 0.16827 0.50629
LDOF 82 0.18077 -0.02403 0.20791 0.00989 0.36379 0.20473 0.53899
LDOF 99 0.17791 -0.02762 0.20753 0.00941 0.36489 0.20611 0.53736
ODIN 13 0.25256 0.06570 0.24272 0.05340 0.35623 0.19528 0.58121
ODIN 15 0.25440 0.06800 0.24194 0.05242 0.35757 0.19696 0.58274
ODIN 26 0.23099 0.03874 0.23117 0.03896 0.36531 0.20664 0.57543
ODIN 99 0.24285 0.05356 0.23996 0.04995 0.35817 0.19771 0.58701
FastABOD 36 0.26542 0.08178 0.22917 0.03646 0.34743 0.18429 0.56572
FastABOD 97 0.26112 0.07640 0.23173 0.03967 0.34843 0.18554 0.56840
FastABOD 98 0.26112 0.07640 0.23155 0.03944 0.34856 0.18570 0.56838
FastABOD 100 0.25968 0.07461 0.23170 0.03963 0.34831 0.18538 0.56841
KDEOS 3 0.21521 0.01901 0.21433 0.01791 0.33656 0.17070 0.50800
KDEOS 22 0.22669 0.03336 0.20579 0.00724 0.33381 0.16727 0.50923
KDEOS 68 0.20660 0.00825 0.21220 0.01525 0.34724 0.18405 0.54474
KDEOS 100 0.17360 -0.03300 0.20167 0.00208 0.35695 0.19619 0.53831
LDF 2 0.26255 0.07819 0.24613 0.05767 0.33866 0.17333 0.55296
LDF 7 0.24103 0.05129 0.22982 0.03727 0.36048 0.20059 0.57840
LDF 17 0.15638 -0.05452 0.21528 0.01910 0.36824 0.21030 0.55646
INFLO 2 0.23386 0.04232 0.22665 0.03331 0.34146 0.17683 0.54561
INFLO 11 0.22525 0.03156 0.21521 0.01902 0.36020 0.20024 0.55518
INFLO 100 0.15782 -0.05273 0.20702 0.00878 0.37027 0.21284 0.52981
COF 2 0.26112 0.07640 0.23869 0.04836 0.34154 0.17693 0.55217
COF 78 0.16643 -0.04197 0.19365 -0.00794 0.35373 0.19216 0.50733

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 57 attributes, 3160 objects, 632 outliers (20.00%)

Download raw algorithm results (27.4 MB) Download raw algorithm evaluation table (72.2 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 11 0.44620 0.30775 0.43637 0.29546 0.46190 0.32737 0.74869
KNN 12 0.44304 0.30380 0.43791 0.29739 0.46065 0.32581 0.74873
KNN 14 0.43671 0.29589 0.43837 0.29796 0.46636 0.33295 0.74860
KNN 83 0.42405 0.28006 0.41170 0.26463 0.46778 0.33472 0.74781
KNNW 18 0.44304 0.30380 0.43717 0.29646 0.46088 0.32610 0.74648
KNNW 24 0.44620 0.30775 0.43430 0.29287 0.46145 0.32681 0.74708
KNNW 68 0.42880 0.28600 0.42057 0.27571 0.46567 0.33208 0.74784
KNNW 86 0.42880 0.28600 0.41799 0.27249 0.46265 0.32831 0.74800
LOF 85 0.30222 0.12777 0.28421 0.10526 0.37173 0.21466 0.62278
LOF 98 0.29747 0.12184 0.29082 0.11353 0.38340 0.22925 0.63269
LOF 100 0.29589 0.11986 0.29183 0.11479 0.38197 0.22747 0.63460
SimplifiedLOF 79 0.27532 0.09415 0.27157 0.08947 0.35624 0.19531 0.59463
SimplifiedLOF 90 0.26424 0.08030 0.27839 0.09799 0.35879 0.19849 0.59814
SimplifiedLOF 100 0.27215 0.09019 0.28338 0.10423 0.35669 0.19586 0.60046
LoOP 80 0.24684 0.05854 0.24099 0.05124 0.35067 0.18834 0.57185
LoOP 93 0.25316 0.06646 0.24608 0.05760 0.34761 0.18452 0.57218
LoOP 99 0.25158 0.06448 0.24830 0.06038 0.34956 0.18695 0.57414
LDOF 2 0.27215 0.09019 0.24648 0.05810 0.33421 0.16777 0.48150
LDOF 79 0.20570 0.00712 0.20046 0.00058 0.33449 0.16812 0.49653
LDOF 99 0.20253 0.00316 0.20781 0.00976 0.33395 0.16744 0.50351
ODIN 19 0.14790 -0.06512 0.20858 0.01072 0.37182 0.21477 0.55297
ODIN 96 0.22053 0.02566 0.21395 0.01744 0.35971 0.19964 0.55532
ODIN 98 0.21574 0.01968 0.21473 0.01842 0.35977 0.19971 0.55607
FastABOD 3 0.41297 0.26622 0.40558 0.25698 0.45105 0.31381 0.72549
FastABOD 9 0.39399 0.24248 0.40045 0.25056 0.45693 0.32117 0.72653
FastABOD 98 0.39873 0.24842 0.39990 0.24987 0.46434 0.33043 0.72423
KDEOS 3 0.22310 0.02888 0.22173 0.02717 0.33458 0.16822 0.48508
KDEOS 96 0.19778 -0.00277 0.22537 0.03171 0.36589 0.20736 0.57681
KDEOS 98 0.19937 -0.00079 0.22596 0.03245 0.36574 0.20717 0.57738
KDEOS 100 0.20570 0.00712 0.22591 0.03239 0.36481 0.20601 0.57739
LDF 90 0.39715 0.24644 0.39043 0.23804 0.44366 0.30457 0.71712
LDF 97 0.40823 0.26028 0.39966 0.24957 0.43935 0.29918 0.72118
LDF 100 0.40823 0.26028 0.40360 0.25450 0.44309 0.30386 0.72337
INFLO 75 0.26582 0.08228 0.26039 0.07549 0.44878 0.31097 0.62381
INFLO 91 0.27532 0.09415 0.26517 0.08146 0.44729 0.30911 0.62370
INFLO 99 0.27690 0.09612 0.26413 0.08017 0.43537 0.29421 0.61581
COF 87 0.30222 0.12777 0.33502 0.16877 0.38267 0.22834 0.62775
COF 88 0.30222 0.12777 0.33604 0.17005 0.38185 0.22732 0.62803
COF 98 0.31962 0.14953 0.33954 0.17442 0.37354 0.21692 0.62564
COF 100 0.31329 0.14161 0.34023 0.17529 0.37183 0.21479 0.62635

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 57 attributes, 3485 objects, 697 outliers (20.00%)

Download raw algorithm results (28.7 MB) Download raw algorithm evaluation table (72.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 7 0.45337 0.31671 0.44989 0.31236 0.46200 0.32749 0.75320
KNN 8 0.45768 0.32209 0.44968 0.31211 0.46086 0.32607 0.75211
KNN 89 0.43759 0.29699 0.42693 0.28366 0.47326 0.34158 0.76113
KNN 98 0.43902 0.29878 0.42534 0.28168 0.47461 0.34327 0.75996
KNNW 9 0.45624 0.32030 0.44452 0.30565 0.46136 0.32670 0.73524
KNNW 17 0.45337 0.31671 0.44746 0.30932 0.46016 0.32520 0.74494
KNNW 93 0.43759 0.29699 0.43432 0.29290 0.47309 0.34136 0.75947
KNNW 100 0.43902 0.29878 0.43383 0.29229 0.47309 0.34136 0.75969
LOF 90 0.29842 0.12303 0.26955 0.08694 0.37425 0.21781 0.61662
LOF 100 0.29555 0.11944 0.27954 0.09943 0.38288 0.22861 0.62848
SimplifiedLOF 2 0.26542 0.08178 0.22318 0.02897 0.33333 0.16667 0.50597
SimplifiedLOF 98 0.24677 0.05846 0.23915 0.04894 0.35533 0.19416 0.58185
SimplifiedLOF 100 0.24677 0.05846 0.24192 0.05239 0.35522 0.19403 0.58319
LoOP 1 0.25251 0.06564 0.24570 0.05713 0.33333 0.16667 0.52943
LoOP 77 0.20947 0.01184 0.21547 0.01934 0.35140 0.18926 0.55327
LoOP 100 0.23960 0.04950 0.22840 0.03550 0.34698 0.18372 0.56282
LDOF 2 0.25538 0.06923 0.23022 0.03777 0.33333 0.16667 0.47713
LDOF 72 0.17791 -0.02762 0.18625 -0.01719 0.34249 0.17811 0.48997
LDOF 100 0.18508 -0.01865 0.19781 -0.00274 0.34103 0.17629 0.50446
ODIN 1 0.21317 0.01646 0.21738 0.02173 0.35689 0.19611 0.55144
ODIN 25 0.16200 -0.04750 0.20887 0.01109 0.37969 0.22461 0.55652
ODIN 97 0.20992 0.01240 0.21076 0.01345 0.36081 0.20101 0.55783
FastABOD 18 0.41176 0.26471 0.39741 0.24676 0.46480 0.33100 0.72635
FastABOD 84 0.42037 0.27547 0.41897 0.27372 0.46203 0.32753 0.72902
FastABOD 100 0.41894 0.27367 0.41938 0.27423 0.46105 0.32631 0.72930
KDEOS 77 0.20947 0.01184 0.21654 0.02068 0.34827 0.18533 0.55391
KDEOS 93 0.20086 0.00108 0.22140 0.02675 0.35498 0.19372 0.56002
KDEOS 100 0.20803 0.01004 0.22537 0.03171 0.35437 0.19296 0.56400
LDF 98 0.38881 0.23601 0.40415 0.25518 0.41955 0.27444 0.69890
LDF 99 0.38737 0.23422 0.40678 0.25847 0.42152 0.27690 0.70102
LDF 100 0.38451 0.23063 0.40692 0.25865 0.41833 0.27292 0.70092
INFLO 91 0.24964 0.06205 0.25251 0.06563 0.44394 0.30492 0.61734
INFLO 99 0.25681 0.07102 0.25251 0.06564 0.43321 0.29151 0.60663
INFLO 100 0.25395 0.06743 0.25415 0.06768 0.43636 0.29545 0.60936
COF 92 0.26829 0.08537 0.24815 0.06019 0.35008 0.18760 0.58226
COF 98 0.26829 0.08537 0.25766 0.07208 0.35367 0.19208 0.58778
COF 99 0.26542 0.08178 0.26104 0.07630 0.35306 0.19133 0.59018
COF 100 0.26829 0.08537 0.26199 0.07748 0.35270 0.19087 0.58883

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO