Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

SpamBase (2% of outliers version#04)

A data set representing emails classified as spam (outliers) or nonspam.

Download all data set variants used (25.4 MB). You can also access the original data. (spambase.data)

Normalized, without duplicates

This version contains 57 attributes, 2579 objects, 51 outliers (1.98%)

Download raw algorithm results (23.1 MB) Download raw algorithm evaluation table (66.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.09804 0.07984 0.08670 0.06827 0.20488 0.18884 0.80669
KNN 2 0.11765 0.09985 0.08462 0.06616 0.18750 0.17111 0.80930
KNNW 2 0.13725 0.11985 0.08994 0.07158 0.22000 0.20426 0.79988
KNNW 4 0.09804 0.07984 0.08706 0.06865 0.21118 0.19527 0.80772
LOF 72 0.09804 0.07984 0.08127 0.06274 0.15584 0.13881 0.79281
LOF 78 0.09804 0.07984 0.08181 0.06328 0.16438 0.14753 0.79489
LOF 81 0.09804 0.07984 0.08180 0.06328 0.16290 0.14601 0.79563
LOF 82 0.09804 0.07984 0.08265 0.06415 0.15789 0.14091 0.79508
SimplifiedLOF 82 0.11765 0.09985 0.06496 0.04610 0.12500 0.10735 0.75886
SimplifiedLOF 98 0.09804 0.07984 0.07494 0.05628 0.15748 0.14048 0.77256
SimplifiedLOF 100 0.09804 0.07984 0.07628 0.05765 0.15658 0.13957 0.77306
LoOP 94 0.09804 0.07984 0.08700 0.06858 0.17431 0.15765 0.79607
LoOP 96 0.09804 0.07984 0.08770 0.06929 0.17734 0.16074 0.79693
LoOP 97 0.09804 0.07984 0.08981 0.07145 0.17734 0.16074 0.79745
LDOF 94 0.07843 0.05984 0.07922 0.06065 0.17500 0.15836 0.78915
LDOF 97 0.07843 0.05984 0.08104 0.06250 0.18103 0.16451 0.79147
LDOF 100 0.07843 0.05984 0.08215 0.06363 0.17573 0.15910 0.79106
ODIN 14 0.08086 0.06231 0.04621 0.02697 0.09709 0.07887 0.73308
ODIN 98 0.07230 0.05359 0.07231 0.05359 0.15306 0.13598 0.79141
ODIN 100 0.07230 0.05359 0.07239 0.05368 0.15464 0.13758 0.79105
FastABOD 5 0.09804 0.07984 0.08007 0.06151 0.15810 0.14112 0.79238
FastABOD 47 0.07843 0.05984 0.09414 0.07587 0.18095 0.16443 0.79639
FastABOD 98 0.07843 0.05984 0.09712 0.07890 0.17391 0.15725 0.80146
FastABOD 100 0.07843 0.05984 0.09718 0.07897 0.17391 0.15725 0.80133
KDEOS 16 0.03922 0.01983 0.04998 0.03081 0.08397 0.06549 0.62774
KDEOS 24 0.07843 0.05984 0.03686 0.01743 0.07843 0.05984 0.64973
KDEOS 25 0.07843 0.05984 0.03683 0.01740 0.08247 0.06396 0.65585
KDEOS 83 0.07843 0.05984 0.03885 0.01946 0.09756 0.07936 0.57554
LDF 4 0.03922 0.01983 0.04446 0.02518 0.11382 0.09594 0.75271
LDF 47 0.08333 0.06484 0.04038 0.02102 0.12308 0.10539 0.61124
LDF 48 0.06329 0.04439 0.03916 0.01977 0.13043 0.11289 0.61771
LDF 63 0.07843 0.05984 0.04494 0.02567 0.10929 0.09132 0.67378
INFLO 75 0.09804 0.07984 0.08537 0.06691 0.17062 0.15388 0.80263
INFLO 81 0.09804 0.07984 0.08693 0.06851 0.17561 0.15898 0.80568
INFLO 83 0.09804 0.07984 0.08643 0.06800 0.18095 0.16443 0.80438
INFLO 97 0.09804 0.07984 0.08496 0.06650 0.17323 0.15655 0.80606
COF 23 0.03922 0.01983 0.05568 0.03663 0.14493 0.12768 0.77179
COF 27 0.00000 -0.02017 0.05528 0.03622 0.15261 0.13552 0.77704
COF 30 0.00000 -0.02017 0.05501 0.03594 0.13208 0.11457 0.78508
COF 91 0.07843 0.05984 0.04366 0.02436 0.09697 0.07875 0.71896

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 57 attributes, 2844 objects, 56 outliers (1.97%)

Download raw algorithm results (23.4 MB) Download raw algorithm evaluation table (67.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.12500 0.10742 0.09887 0.08077 0.21557 0.19981 0.80824
KNN 3 0.14286 0.12564 0.09070 0.07243 0.18987 0.17360 0.79104
KNNW 2 0.14286 0.12564 0.10006 0.08199 0.21918 0.20349 0.81522
KNNW 4 0.14286 0.12564 0.09950 0.08142 0.21951 0.20384 0.80880
LOF 6 0.03571 0.01635 0.03807 0.01874 0.08726 0.06893 0.72384
LOF 9 0.03571 0.01635 0.04233 0.02309 0.09442 0.07623 0.75378
LOF 12 0.00000 -0.02009 0.04275 0.02353 0.09512 0.07694 0.74700
LOF 19 0.00000 -0.02009 0.04178 0.02253 0.10678 0.08883 0.73739
SimplifiedLOF 14 0.00000 -0.02009 0.03572 0.01635 0.08306 0.06464 0.72018
SimplifiedLOF 23 0.00000 -0.02009 0.03669 0.01734 0.08966 0.07137 0.71812
SimplifiedLOF 34 0.00000 -0.02009 0.03616 0.01680 0.09340 0.07519 0.71596
SimplifiedLOF 69 0.01786 -0.00187 0.03045 0.01098 0.07864 0.06013 0.68241
LoOP 13 0.05357 0.03456 0.04180 0.02256 0.08872 0.07042 0.72635
LoOP 26 0.05357 0.03456 0.04540 0.02623 0.11196 0.09412 0.74123
LoOP 27 0.03571 0.01635 0.04558 0.02640 0.11139 0.09354 0.74155
LoOP 28 0.03571 0.01635 0.04500 0.02582 0.10592 0.08796 0.74172
LDOF 25 0.01786 -0.00187 0.03971 0.02042 0.10000 0.08192 0.72385
LDOF 35 0.01786 -0.00187 0.04035 0.02108 0.09476 0.07658 0.73350
LDOF 42 0.03571 0.01635 0.03988 0.02059 0.09453 0.07634 0.72977
ODIN 62 0.08516 0.06679 0.05367 0.03466 0.12838 0.11087 0.73830
ODIN 94 0.07983 0.06135 0.05623 0.03727 0.14286 0.12564 0.74663
ODIN 98 0.07143 0.05278 0.05676 0.03782 0.13675 0.11941 0.74882
ODIN 100 0.07143 0.05278 0.05670 0.03775 0.13127 0.11382 0.74921
FastABOD 20 0.07143 0.05278 0.05638 0.03743 0.12281 0.10519 0.76238
FastABOD 21 0.07143 0.05278 0.05644 0.03749 0.12335 0.10574 0.76267
FastABOD 90 0.07143 0.05278 0.07356 0.05495 0.13333 0.11593 0.76040
FastABOD 98 0.07143 0.05278 0.07373 0.05512 0.13158 0.11414 0.76069
KDEOS 7 0.01786 -0.00187 0.03829 0.01897 0.09662 0.07847 0.68109
KDEOS 13 0.07143 0.05278 0.03646 0.01711 0.08333 0.06492 0.68123
KDEOS 20 0.03571 0.01635 0.03646 0.01711 0.08379 0.06539 0.69313
KDEOS 24 0.03571 0.01635 0.03961 0.02032 0.09091 0.07265 0.69075
LDF 6 0.05357 0.03456 0.04906 0.02996 0.12336 0.10576 0.76658
LDF 7 0.03571 0.01635 0.04736 0.02823 0.11050 0.09263 0.76807
INFLO 15 0.00000 -0.02009 0.04454 0.02535 0.10169 0.08365 0.74858
INFLO 16 0.00000 -0.02009 0.04430 0.02510 0.10644 0.08849 0.74481
INFLO 94 0.05357 0.03456 0.03548 0.01610 0.07659 0.05804 0.68106
COF 9 0.03571 0.01635 0.03561 0.01624 0.07774 0.05921 0.70666
COF 27 0.00000 -0.02009 0.04766 0.02853 0.11613 0.09838 0.75481
COF 29 0.00000 -0.02009 0.04727 0.02814 0.11890 0.10120 0.75117

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 57 attributes, 2579 objects, 51 outliers (1.98%)

Download raw algorithm results (22.4 MB) Download raw algorithm evaluation table (58.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.15686 0.13985 0.08402 0.06555 0.17778 0.16119 0.72786
KNNW 1 0.17647 0.15986 0.09448 0.07622 0.20253 0.18644 0.72807
KNNW 2 0.15686 0.13985 0.08928 0.07091 0.18182 0.16531 0.72852
LOF 2 0.07843 0.05984 0.03041 0.01085 0.09195 0.07364 0.52233
LOF 44 0.07843 0.05984 0.03440 0.01492 0.10390 0.08582 0.54755
LOF 86 0.05882 0.03984 0.04027 0.02091 0.09836 0.08017 0.57857
LOF 99 0.07843 0.05984 0.03747 0.01805 0.08955 0.07118 0.59693
SimplifiedLOF 4 0.07843 0.05984 0.03573 0.01628 0.10667 0.08864 0.58237
SimplifiedLOF 37 0.09804 0.07984 0.03450 0.01502 0.10309 0.08500 0.55448
SimplifiedLOF 60 0.07843 0.05984 0.04045 0.02110 0.11429 0.09642 0.56286
SimplifiedLOF 79 0.07843 0.05984 0.04276 0.02345 0.10667 0.08864 0.56188
LoOP 1 0.05882 0.03984 0.02966 0.01008 0.10687 0.08885 0.49753
LoOP 3 0.07843 0.05984 0.03087 0.01132 0.08000 0.06144 0.55802
LoOP 4 0.05882 0.03984 0.03199 0.01246 0.08696 0.06854 0.56392
LoOP 100 0.07843 0.05984 0.03373 0.01424 0.08824 0.06984 0.53355
LDOF 5 0.03922 0.01983 0.02439 0.00471 0.04762 0.02841 0.56480
LDOF 66 0.07843 0.05984 0.02573 0.00608 0.07843 0.05984 0.49417
LDOF 87 0.07843 0.05984 0.02773 0.00811 0.10127 0.08313 0.49323
LDOF 100 0.07843 0.05984 0.02822 0.00861 0.08989 0.07153 0.49363
ODIN 6 0.00637 -0.01368 0.02281 0.00310 0.04831 0.02911 0.57658
ODIN 15 0.00000 -0.02017 0.02352 0.00382 0.05333 0.03424 0.55114
ODIN 43 0.03529 0.01583 0.02032 0.00055 0.04442 0.02514 0.49479
FastABOD 3 0.15686 0.13985 0.09195 0.07363 0.18667 0.17026 0.75370
FastABOD 7 0.15686 0.13985 0.08143 0.06290 0.15789 0.14091 0.75586
KDEOS 2 0.05882 0.03984 0.02955 0.00997 0.07692 0.05830 0.53738
KDEOS 5 0.01961 -0.00017 0.02900 0.00942 0.06242 0.04350 0.58952
KDEOS 28 0.03922 0.01983 0.04330 0.02400 0.05398 0.03490 0.55371
LDF 14 0.09804 0.07984 0.04805 0.02885 0.11494 0.09709 0.56841
LDF 23 0.07843 0.05984 0.06294 0.04404 0.11429 0.09642 0.58012
LDF 60 0.09804 0.07984 0.05197 0.03285 0.13889 0.12152 0.60451
LDF 99 0.09804 0.07984 0.04194 0.02261 0.10870 0.09071 0.65752
INFLO 4 0.07843 0.05984 0.03032 0.01076 0.09639 0.07816 0.54727
INFLO 5 0.07843 0.05984 0.03116 0.01161 0.10000 0.08184 0.56005
INFLO 33 0.03922 0.01983 0.03369 0.01419 0.06547 0.04662 0.58936
INFLO 93 0.05882 0.03984 0.03736 0.01794 0.09677 0.07855 0.56340
COF 6 0.11765 0.09985 0.04050 0.02114 0.12281 0.10511 0.56030
COF 43 0.07843 0.05984 0.06615 0.04731 0.11765 0.09985 0.60516
COF 61 0.11765 0.09985 0.05668 0.03765 0.14458 0.12732 0.62264
COF 65 0.11765 0.09985 0.05586 0.03681 0.14118 0.12385 0.63375

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 57 attributes, 2844 objects, 56 outliers (1.97%)

Download raw algorithm results (23.2 MB) Download raw algorithm evaluation table (63.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.17857 0.16207 0.09760 0.07947 0.18018 0.16371 0.78208
KNN 2 0.17857 0.16207 0.09381 0.07561 0.18519 0.16882 0.77111
KNNW 1 0.17857 0.16207 0.10662 0.08867 0.20690 0.19097 0.79396
LOF 1 0.08929 0.07099 0.03004 0.01056 0.10769 0.08977 0.52420
LOF 100 0.08929 0.07099 0.04034 0.02106 0.09901 0.08091 0.65015
SimplifiedLOF 3 0.01786 -0.00187 0.03071 0.01124 0.08955 0.07126 0.60410
SimplifiedLOF 4 0.03571 0.01635 0.03062 0.01115 0.07612 0.05757 0.61626
SimplifiedLOF 91 0.05357 0.03456 0.03083 0.01136 0.08054 0.06207 0.61288
SimplifiedLOF 100 0.05357 0.03456 0.03305 0.01363 0.08511 0.06673 0.61442
LoOP 2 0.05357 0.03456 0.03322 0.01380 0.09357 0.07536 0.59552
LoOP 90 0.07143 0.05278 0.02994 0.01045 0.07643 0.05788 0.58788
LDOF 2 0.05357 0.03456 0.02522 0.00564 0.07143 0.05278 0.51213
LDOF 3 0.05357 0.03456 0.03227 0.01283 0.07447 0.05588 0.56336
LDOF 13 0.03571 0.01635 0.02732 0.00779 0.08187 0.06343 0.52414
ODIN 1 0.02650 0.00695 0.02496 0.00538 0.05014 0.03107 0.60173
ODIN 26 0.04870 0.02959 0.02635 0.00679 0.06349 0.04468 0.59460
FastABOD 3 0.07143 0.05278 0.06318 0.04436 0.14159 0.12435 0.78705
FastABOD 8 0.14286 0.12564 0.07954 0.06105 0.16279 0.14597 0.78472
FastABOD 9 0.14286 0.12564 0.08070 0.06224 0.16471 0.14793 0.78576
FastABOD 94 0.12500 0.10742 0.09161 0.07337 0.16092 0.14407 0.77673
KDEOS 2 0.07143 0.05278 0.03143 0.01198 0.07547 0.05690 0.58515
KDEOS 95 0.05357 0.03456 0.03101 0.01155 0.08264 0.06422 0.61800
KDEOS 98 0.05357 0.03456 0.03066 0.01119 0.08696 0.06862 0.61616
LDF 63 0.12500 0.10742 0.04817 0.02905 0.12500 0.10742 0.65211
LDF 95 0.10714 0.08921 0.06487 0.04608 0.14173 0.12449 0.70897
LDF 97 0.10714 0.08921 0.06211 0.04327 0.14754 0.13042 0.70869
LDF 99 0.10714 0.08921 0.06144 0.04259 0.14286 0.12564 0.71125
INFLO 40 0.00000 -0.02009 0.02706 0.00751 0.07132 0.05267 0.62196
INFLO 92 0.07143 0.05278 0.03835 0.01904 0.09677 0.07863 0.60730
INFLO 99 0.07143 0.05278 0.03823 0.01891 0.10687 0.08893 0.57483
COF 6 0.05357 0.03456 0.03466 0.01527 0.08130 0.06285 0.64629
COF 97 0.08929 0.07099 0.03923 0.01993 0.12281 0.10519 0.62877
COF 98 0.10714 0.08921 0.03969 0.02040 0.11429 0.09650 0.63303
COF 100 0.10714 0.08921 0.04038 0.02111 0.11667 0.09892 0.63148

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO