Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

SpamBase (2% of outliers version#05)

A data set representing emails classified as spam (outliers) or nonspam.

Download all data set variants used (25.4 MB). You can also access the original data. (spambase.data)

Normalized, without duplicates

This version contains 57 attributes, 2579 objects, 51 outliers (1.98%)

Download raw algorithm results (23.1 MB) Download raw algorithm evaluation table (64.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.13725 0.11985 0.09333 0.07504 0.19512 0.17888 0.79036
KNN 2 0.15686 0.13985 0.10387 0.08579 0.18462 0.16817 0.78393
KNNW 1 0.15686 0.13985 0.09372 0.07544 0.20988 0.19394 0.79043
KNNW 2 0.15686 0.13985 0.09377 0.07548 0.18994 0.17360 0.79546
KNNW 3 0.19608 0.17986 0.09698 0.07876 0.20000 0.18386 0.79414
LOF 7 0.11765 0.09985 0.05963 0.04066 0.12500 0.10735 0.78417
LOF 13 0.00000 -0.02017 0.06108 0.04214 0.13734 0.11994 0.81535
LOF 54 0.09804 0.07984 0.07731 0.05869 0.15517 0.13813 0.77316
LOF 58 0.07843 0.05984 0.07539 0.05673 0.16590 0.14907 0.77162
SimplifiedLOF 22 0.00000 -0.02017 0.05024 0.03108 0.11168 0.09375 0.79295
SimplifiedLOF 68 0.13725 0.11985 0.05530 0.03624 0.14286 0.12557 0.76333
SimplifiedLOF 71 0.13725 0.11985 0.05734 0.03832 0.14737 0.13017 0.76274
SimplifiedLOF 92 0.07843 0.05984 0.06397 0.04509 0.13718 0.11978 0.75838
LoOP 22 0.05882 0.03984 0.06217 0.04325 0.12500 0.10735 0.80699
LoOP 71 0.13725 0.11985 0.08614 0.06770 0.15504 0.13799 0.79442
LoOP 76 0.13725 0.11985 0.08779 0.06939 0.16667 0.14985 0.79451
LoOP 90 0.11765 0.09985 0.08353 0.06504 0.17273 0.15604 0.78882
LDOF 43 0.05882 0.03984 0.05690 0.03787 0.11565 0.09781 0.79728
LDOF 94 0.13725 0.11985 0.08638 0.06795 0.16185 0.14494 0.78966
LDOF 95 0.13725 0.11985 0.08463 0.06617 0.16568 0.14885 0.78897
ODIN 87 0.07308 0.05438 0.06344 0.04454 0.13187 0.11435 0.77384
ODIN 92 0.07843 0.05984 0.06408 0.04520 0.13408 0.11661 0.77324
ODIN 98 0.08359 0.06510 0.06369 0.04480 0.13483 0.11738 0.77178
ODIN 100 0.08359 0.06510 0.06360 0.04471 0.13636 0.11894 0.77124
FastABOD 46 0.19608 0.17986 0.08731 0.06890 0.19608 0.17986 0.78308
FastABOD 59 0.19608 0.17986 0.08919 0.07082 0.19802 0.18184 0.78539
FastABOD 60 0.19608 0.17986 0.08927 0.07090 0.19802 0.18184 0.78569
KDEOS 17 0.09804 0.07984 0.04441 0.02513 0.09804 0.07984 0.68663
KDEOS 20 0.01961 -0.00017 0.04134 0.02200 0.08917 0.07080 0.70402
KDEOS 22 0.01961 -0.00017 0.04802 0.02881 0.09735 0.07913 0.69693
KDEOS 72 0.05882 0.03984 0.03358 0.01409 0.09877 0.08058 0.61604
LDF 4 0.07843 0.05984 0.05176 0.03263 0.11702 0.09921 0.73463
LDF 5 0.07843 0.05984 0.04965 0.03048 0.11227 0.09436 0.75932
LDF 11 0.03922 0.01983 0.04999 0.03082 0.14286 0.12557 0.74223
LDF 76 0.11765 0.09985 0.04319 0.02389 0.12000 0.10225 0.65422
INFLO 7 0.13725 0.11985 0.05915 0.04017 0.13725 0.11985 0.76328
INFLO 16 0.00000 -0.02017 0.06042 0.04146 0.13559 0.11815 0.81263
INFLO 54 0.11765 0.09985 0.08298 0.06448 0.16484 0.14799 0.79378
INFLO 63 0.09804 0.07984 0.07954 0.06097 0.17840 0.16183 0.79036
COF 9 0.11765 0.09985 0.05330 0.03420 0.12500 0.10735 0.75557
COF 20 0.05882 0.03984 0.06489 0.04603 0.15517 0.13813 0.80340
COF 22 0.03922 0.01983 0.06706 0.04824 0.14679 0.12958 0.80761
COF 23 0.03922 0.01983 0.06758 0.04876 0.14986 0.13271 0.80698

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 57 attributes, 2844 objects, 56 outliers (1.97%)

Download raw algorithm results (23.4 MB) Download raw algorithm evaluation table (68.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.16071 0.14386 0.10257 0.08454 0.21176 0.19593 0.84199
KNNW 1 0.16071 0.14386 0.11695 0.09922 0.23834 0.22304 0.84619
KNNW 3 0.17857 0.16207 0.10946 0.09157 0.22318 0.20757 0.84214
LOF 15 0.00000 -0.02009 0.05167 0.03262 0.12195 0.10431 0.79326
LOF 79 0.05357 0.03456 0.04235 0.02312 0.08847 0.07017 0.72032
SimplifiedLOF 24 0.00000 -0.02009 0.04345 0.02424 0.10000 0.08192 0.76180
SimplifiedLOF 40 0.00000 -0.02009 0.04188 0.02264 0.10564 0.08768 0.76969
SimplifiedLOF 41 0.00000 -0.02009 0.04189 0.02264 0.10621 0.08826 0.76942
SimplifiedLOF 100 0.05357 0.03456 0.03911 0.01981 0.07803 0.05951 0.69654
LoOP 20 0.07143 0.05278 0.05302 0.03400 0.12465 0.10706 0.77501
LoOP 25 0.05357 0.03456 0.05503 0.03605 0.13333 0.11593 0.78330
LoOP 49 0.01786 -0.00187 0.04933 0.03023 0.10602 0.08807 0.78743
LDOF 5 0.03571 0.01635 0.02664 0.00708 0.05987 0.04098 0.61315
LDOF 31 0.01786 -0.00187 0.05039 0.03132 0.12155 0.10390 0.77365
LDOF 35 0.01786 -0.00187 0.05043 0.03135 0.11358 0.09578 0.78032
LDOF 50 0.01786 -0.00187 0.04992 0.03084 0.11401 0.09622 0.78447
ODIN 69 0.07672 0.05817 0.05863 0.03973 0.11429 0.09650 0.78400
ODIN 100 0.07341 0.05480 0.06572 0.04695 0.12987 0.11239 0.80111
FastABOD 20 0.08929 0.07099 0.06327 0.04445 0.14815 0.13104 0.77925
FastABOD 92 0.05357 0.03456 0.06662 0.04787 0.15854 0.14163 0.78012
FastABOD 99 0.05357 0.03456 0.06835 0.04964 0.15758 0.14065 0.78058
KDEOS 24 0.05357 0.03456 0.03216 0.01272 0.06540 0.04663 0.67176
KDEOS 25 0.03571 0.01635 0.03235 0.01291 0.07609 0.05753 0.66201
KDEOS 27 0.05357 0.03456 0.03371 0.01430 0.07453 0.05595 0.66834
KDEOS 53 0.03571 0.01635 0.03322 0.01380 0.07059 0.05192 0.67493
LDF 3 0.05357 0.03456 0.04543 0.02625 0.09524 0.07706 0.74705
LDF 5 0.03571 0.01635 0.05331 0.03430 0.12652 0.10898 0.79304
INFLO 6 0.05357 0.03456 0.04281 0.02358 0.09351 0.07531 0.73612
INFLO 15 0.00000 -0.02009 0.04995 0.03087 0.12121 0.10356 0.76933
INFLO 16 0.00000 -0.02009 0.05020 0.03112 0.12069 0.10303 0.77395
INFLO 24 0.00000 -0.02009 0.04764 0.02852 0.10931 0.09142 0.77656
COF 7 0.03571 0.01635 0.03854 0.01922 0.08767 0.06935 0.71392
COF 21 0.03571 0.01635 0.05745 0.03852 0.12575 0.10819 0.81167
COF 26 0.03571 0.01635 0.05941 0.04052 0.13065 0.11319 0.80603
COF 27 0.01786 -0.00187 0.06024 0.04136 0.12834 0.11083 0.80659

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 57 attributes, 2579 objects, 51 outliers (1.98%)

Download raw algorithm results (22.4 MB) Download raw algorithm evaluation table (57.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.13725 0.11985 0.08248 0.06397 0.14141 0.12409 0.72406
KNN 3 0.11765 0.09985 0.07667 0.05804 0.15385 0.13678 0.70915
KNNW 1 0.12745 0.10985 0.10214 0.08403 0.15385 0.13678 0.72445
KNNW 2 0.11765 0.09985 0.08561 0.06716 0.14925 0.13209 0.72447
KNNW 3 0.13725 0.11985 0.08722 0.06880 0.15152 0.13440 0.71966
LOF 1 0.05882 0.03984 0.05205 0.03293 0.09836 0.08017 0.50581
LOF 17 0.05882 0.03984 0.03721 0.01779 0.08955 0.07118 0.61697
LOF 34 0.07843 0.05984 0.03599 0.01655 0.07843 0.05984 0.59318
SimplifiedLOF 2 0.05882 0.03984 0.04481 0.02554 0.09836 0.08017 0.57985
SimplifiedLOF 32 0.05882 0.03984 0.04102 0.02167 0.08824 0.06984 0.62855
SimplifiedLOF 52 0.07843 0.05984 0.04238 0.02306 0.10959 0.09163 0.61920
SimplifiedLOF 95 0.09804 0.07984 0.04184 0.02251 0.09901 0.08083 0.61056
LoOP 1 0.07843 0.05984 0.03664 0.01720 0.09412 0.07584 0.56240
LoOP 2 0.05882 0.03984 0.04399 0.02470 0.10345 0.08536 0.57461
LoOP 32 0.05882 0.03984 0.03605 0.01661 0.08955 0.07118 0.62305
LDOF 2 0.07843 0.05984 0.03838 0.01898 0.10127 0.08313 0.57677
LDOF 3 0.05882 0.03984 0.05212 0.03300 0.08955 0.07118 0.54164
LDOF 4 0.05882 0.03984 0.03082 0.01127 0.06316 0.04426 0.58715
ODIN 4 0.02066 0.00090 0.02594 0.00629 0.06196 0.04304 0.59093
ODIN 13 0.01538 -0.00448 0.02627 0.00662 0.05333 0.03424 0.60817
ODIN 15 0.01754 -0.00228 0.02628 0.00664 0.05683 0.03781 0.60606
ODIN 66 0.02999 0.01042 0.02262 0.00290 0.04969 0.03052 0.54798
FastABOD 3 0.11765 0.09985 0.07906 0.06048 0.14493 0.12768 0.73135
FastABOD 4 0.11765 0.09985 0.08220 0.06369 0.14706 0.12985 0.73099
FastABOD 16 0.09804 0.07984 0.07770 0.05909 0.14925 0.13209 0.72826
KDEOS 2 0.07843 0.05984 0.05860 0.03961 0.11429 0.09642 0.58437
KDEOS 63 0.03922 0.01983 0.03246 0.01294 0.07484 0.05618 0.64257
LDF 58 0.13725 0.11985 0.05909 0.04011 0.13725 0.11985 0.64925
LDF 63 0.13725 0.11985 0.06448 0.04560 0.15054 0.13340 0.65502
LDF 99 0.09804 0.07984 0.05429 0.03521 0.13559 0.11815 0.67255
INFLO 1 0.05882 0.03984 0.05688 0.03786 0.10345 0.08536 0.54805
INFLO 27 0.05882 0.03984 0.03797 0.01857 0.07895 0.06037 0.66550
INFLO 39 0.07843 0.05984 0.03874 0.01934 0.07843 0.05984 0.62433
COF 25 0.05882 0.03984 0.06327 0.04438 0.10000 0.08184 0.65900
COF 26 0.05882 0.03984 0.06295 0.04404 0.10000 0.08184 0.65940
COF 63 0.09804 0.07984 0.04929 0.03011 0.11940 0.10164 0.61583
COF 97 0.09804 0.07984 0.05194 0.03281 0.12500 0.10735 0.63883

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 57 attributes, 2844 objects, 56 outliers (1.97%)

Download raw algorithm results (23.2 MB) Download raw algorithm evaluation table (63.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.08929 0.07099 0.07859 0.06008 0.15517 0.13820 0.79858
KNN 2 0.12500 0.10742 0.07882 0.06032 0.14915 0.13206 0.78988
KNNW 1 0.07143 0.05278 0.09169 0.07344 0.18251 0.16609 0.82063
KNNW 3 0.10714 0.08921 0.08153 0.06309 0.16170 0.14486 0.80471
LOF 1 0.07143 0.05278 0.03398 0.01457 0.09132 0.07307 0.59910
LOF 100 0.03571 0.01635 0.03366 0.01425 0.06659 0.04784 0.64742
SimplifiedLOF 2 0.01786 -0.00187 0.03041 0.01094 0.07507 0.05649 0.61984
SimplifiedLOF 8 0.00000 -0.02009 0.03289 0.01346 0.08511 0.06673 0.64983
SimplifiedLOF 13 0.00000 -0.02009 0.03067 0.01120 0.06500 0.04622 0.65375
LoOP 1 0.07143 0.05278 0.03729 0.01795 0.08669 0.06834 0.63411
LoOP 2 0.05357 0.03456 0.04288 0.02365 0.10072 0.08266 0.62288
LoOP 9 0.05357 0.03456 0.03473 0.01534 0.08571 0.06735 0.64721
LDOF 2 0.07143 0.05278 0.03317 0.01375 0.08511 0.06673 0.54021
LDOF 3 0.05357 0.03456 0.04471 0.02552 0.06587 0.04711 0.52005
LDOF 7 0.03571 0.01635 0.02687 0.00732 0.06236 0.04353 0.56845
ODIN 4 0.02381 0.00420 0.02815 0.00863 0.06339 0.04458 0.64111
ODIN 18 0.03571 0.01635 0.02796 0.00844 0.06897 0.05026 0.61167
ODIN 26 0.05645 0.03750 0.02915 0.00965 0.06400 0.04520 0.63069
ODIN 37 0.06283 0.04401 0.02567 0.00610 0.06400 0.04520 0.56847
FastABOD 14 0.08929 0.07099 0.06109 0.04223 0.13821 0.12090 0.77362
FastABOD 85 0.08929 0.07099 0.07145 0.05280 0.14407 0.12688 0.77549
FastABOD 92 0.08929 0.07099 0.07151 0.05287 0.14407 0.12688 0.77568
FastABOD 93 0.08929 0.07099 0.07147 0.05282 0.14407 0.12688 0.77570
KDEOS 27 0.01786 -0.00187 0.03141 0.01196 0.06935 0.05066 0.66537
KDEOS 92 0.05357 0.03456 0.03075 0.01129 0.07792 0.05940 0.63805
KDEOS 96 0.05357 0.03456 0.03200 0.01256 0.10084 0.08278 0.63756
KDEOS 98 0.05357 0.03456 0.03218 0.01274 0.09302 0.07481 0.63793
LDF 62 0.10714 0.08921 0.04300 0.02378 0.11111 0.09326 0.67971
LDF 66 0.10714 0.08921 0.04626 0.02710 0.12000 0.10232 0.68920
LDF 67 0.10714 0.08921 0.04699 0.02785 0.11650 0.09876 0.69337
LDF 99 0.03571 0.01635 0.04444 0.02524 0.09877 0.08066 0.72376
INFLO 1 0.07143 0.05278 0.03380 0.01440 0.08861 0.07030 0.60987
INFLO 5 0.03571 0.01635 0.03116 0.01170 0.07018 0.05150 0.64261
COF 3 0.01786 -0.00187 0.03019 0.01071 0.08219 0.06376 0.60104
COF 4 0.05357 0.03456 0.03264 0.01321 0.06780 0.04907 0.64473
COF 19 0.03571 0.01635 0.03311 0.01369 0.07516 0.05658 0.68354

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO