Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

SpamBase (2% of outliers version#07)

A data set representing emails classified as spam (outliers) or nonspam.

Download all data set variants used (25.4 MB). You can also access the original data. (spambase.data)

Normalized, without duplicates

This version contains 57 attributes, 2579 objects, 51 outliers (1.98%)

Download raw algorithm results (23.1 MB) Download raw algorithm evaluation table (63.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.11765 0.09985 0.06551 0.04666 0.14118 0.12385 0.76570
KNN 7 0.11765 0.09985 0.05398 0.03489 0.14815 0.13096 0.72554
KNNW 3 0.07843 0.05984 0.06333 0.04443 0.12121 0.10348 0.75068
KNNW 4 0.11765 0.09985 0.06305 0.04415 0.12245 0.10475 0.74994
KNNW 12 0.11765 0.09985 0.05760 0.03859 0.14286 0.12557 0.73296
LOF 7 0.09804 0.07984 0.06578 0.04693 0.13287 0.11537 0.79277
LOF 8 0.09804 0.07984 0.06794 0.04914 0.13208 0.11457 0.79949
LOF 11 0.05882 0.03984 0.06561 0.04676 0.13939 0.12203 0.79365
SimplifiedLOF 7 0.07843 0.05984 0.04779 0.02858 0.09722 0.07901 0.71826
SimplifiedLOF 11 0.03922 0.01983 0.05199 0.03286 0.11024 0.09229 0.74619
SimplifiedLOF 13 0.03922 0.01983 0.05163 0.03250 0.10256 0.08446 0.75527
SimplifiedLOF 99 0.05882 0.03984 0.05773 0.03872 0.09859 0.08041 0.68336
LoOP 16 0.11765 0.09985 0.06628 0.04744 0.13084 0.11331 0.77416
LoOP 17 0.13725 0.11985 0.06853 0.04974 0.14000 0.12265 0.77364
LoOP 52 0.07843 0.05984 0.08674 0.06831 0.13115 0.11362 0.74111
LoOP 67 0.11765 0.09985 0.06596 0.04712 0.14815 0.13096 0.73561
LDOF 18 0.13725 0.11985 0.06940 0.05062 0.14141 0.12409 0.76246
LDOF 19 0.13725 0.11985 0.07002 0.05125 0.14583 0.12860 0.76457
LDOF 29 0.11765 0.09985 0.06838 0.04958 0.12121 0.10348 0.77095
LDOF 59 0.07843 0.05984 0.09265 0.07434 0.12903 0.11146 0.74286
ODIN 92 0.08359 0.06510 0.06511 0.04625 0.12739 0.10978 0.75512
ODIN 98 0.08497 0.06651 0.06471 0.04584 0.13158 0.11406 0.75377
FastABOD 6 0.05882 0.03984 0.05461 0.03554 0.11518 0.09733 0.72264
FastABOD 7 0.05882 0.03984 0.05489 0.03582 0.11609 0.09826 0.72170
FastABOD 13 0.07843 0.05984 0.05414 0.03506 0.10724 0.08923 0.71485
FastABOD 48 0.07843 0.05984 0.06052 0.04157 0.11230 0.09439 0.71272
KDEOS 23 0.01961 -0.00017 0.04733 0.02811 0.06178 0.04285 0.64269
KDEOS 60 0.05882 0.03984 0.03199 0.01246 0.06736 0.04854 0.66105
KDEOS 96 0.01961 -0.00017 0.04129 0.02195 0.10596 0.08792 0.69149
KDEOS 100 0.01961 -0.00017 0.04194 0.02261 0.10526 0.08721 0.69647
LDF 3 0.09804 0.07984 0.05693 0.03790 0.11111 0.09318 0.76142
LDF 4 0.07843 0.05984 0.06124 0.04230 0.11561 0.09777 0.76191
INFLO 9 0.07843 0.05984 0.06419 0.04532 0.13453 0.11707 0.76515
INFLO 16 0.03922 0.01983 0.06290 0.04400 0.11852 0.10074 0.78307
INFLO 47 0.11765 0.09985 0.05853 0.03954 0.12632 0.10869 0.73317
INFLO 73 0.07843 0.05984 0.06902 0.05024 0.10256 0.08446 0.73304
COF 9 0.09804 0.07984 0.05367 0.03458 0.10145 0.08332 0.74197
COF 17 0.07843 0.05984 0.06053 0.04157 0.12742 0.10982 0.75726
COF 18 0.07843 0.05984 0.06004 0.04108 0.13699 0.11958 0.75652

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 57 attributes, 2844 objects, 56 outliers (1.97%)

Download raw algorithm results (23.4 MB) Download raw algorithm evaluation table (67.2 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.12500 0.10742 0.12359 0.10599 0.20588 0.18993 0.81941
KNN 3 0.17857 0.16207 0.11220 0.09437 0.19149 0.17525 0.80056
KNNW 2 0.16071 0.14386 0.13163 0.11419 0.20809 0.19219 0.83289
KNNW 3 0.17857 0.16207 0.12997 0.11250 0.20118 0.18514 0.82502
LOF 7 0.01786 -0.00187 0.04419 0.02499 0.11621 0.09846 0.74257
LOF 13 0.00000 -0.02009 0.04627 0.02712 0.11224 0.09441 0.76224
LOF 79 0.03571 0.01635 0.03301 0.01358 0.07486 0.05627 0.67657
SimplifiedLOF 13 0.00000 -0.02009 0.03888 0.01958 0.08683 0.06848 0.72995
SimplifiedLOF 16 0.00000 -0.02009 0.03842 0.01910 0.08544 0.06707 0.73246
SimplifiedLOF 23 0.00000 -0.02009 0.03776 0.01843 0.08882 0.07051 0.73112
SimplifiedLOF 96 0.03571 0.01635 0.03126 0.01180 0.07299 0.05437 0.67455
LoOP 16 0.07143 0.05278 0.04851 0.02940 0.10298 0.08496 0.75655
LoOP 18 0.07143 0.05278 0.04885 0.02975 0.10283 0.08481 0.76064
LoOP 19 0.07143 0.05278 0.04969 0.03060 0.10256 0.08454 0.75931
LoOP 28 0.05357 0.03456 0.04793 0.02880 0.11310 0.09528 0.75504
LDOF 18 0.01786 -0.00187 0.04227 0.02303 0.09113 0.07287 0.74194
LDOF 21 0.01786 -0.00187 0.04314 0.02392 0.09812 0.08001 0.74085
LDOF 24 0.01786 -0.00187 0.04176 0.02251 0.10072 0.08266 0.73650
LDOF 65 0.05357 0.03456 0.03925 0.01995 0.08853 0.07022 0.73100
ODIN 14 0.09119 0.07293 0.04647 0.02731 0.09346 0.07525 0.71799
ODIN 79 0.06134 0.04248 0.05618 0.03722 0.11719 0.09946 0.74585
ODIN 99 0.07613 0.05757 0.05925 0.04036 0.11628 0.09853 0.75240
ODIN 100 0.07679 0.05824 0.05935 0.04046 0.11719 0.09946 0.75177
FastABOD 21 0.10714 0.08921 0.06582 0.04705 0.13397 0.11658 0.79119
FastABOD 24 0.10714 0.08921 0.06581 0.04704 0.13084 0.11338 0.79163
FastABOD 37 0.08929 0.07099 0.06442 0.04562 0.13453 0.11715 0.78866
FastABOD 85 0.08929 0.07099 0.09643 0.07828 0.13270 0.11528 0.78902
KDEOS 5 0.05357 0.03456 0.03678 0.01743 0.10072 0.08266 0.64837
KDEOS 22 0.00000 -0.02009 0.03394 0.01454 0.08075 0.06228 0.71461
LDF 5 0.08929 0.07099 0.04925 0.03015 0.10435 0.08636 0.74226
INFLO 13 0.01786 -0.00187 0.04726 0.02812 0.10736 0.08943 0.76061
INFLO 15 0.01786 -0.00187 0.04626 0.02710 0.11364 0.09583 0.76203
INFLO 79 0.03571 0.01635 0.03447 0.01508 0.07859 0.06009 0.68902
COF 10 0.05357 0.03456 0.04032 0.02104 0.07692 0.05838 0.71928
COF 25 0.03571 0.01635 0.04889 0.02978 0.11228 0.09445 0.76566
COF 32 0.01786 -0.00187 0.04562 0.02645 0.11490 0.09712 0.75516

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 57 attributes, 2579 objects, 51 outliers (1.98%)

Download raw algorithm results (22.5 MB) Download raw algorithm evaluation table (60.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.13725 0.11985 0.07462 0.05595 0.15217 0.13507 0.70190
KNN 2 0.13725 0.11985 0.07721 0.05859 0.13725 0.11985 0.75238
KNNW 2 0.13725 0.11985 0.07499 0.05633 0.14706 0.12985 0.70681
KNNW 4 0.11765 0.09985 0.07615 0.05751 0.14706 0.12985 0.74803
LOF 1 0.05882 0.03984 0.04927 0.03009 0.07792 0.05932 0.54532
LOF 6 0.00000 -0.02017 0.03812 0.01871 0.09804 0.07984 0.67452
LOF 12 0.09804 0.07984 0.03924 0.01986 0.10204 0.08393 0.64002
LOF 22 0.09804 0.07984 0.03940 0.02002 0.13158 0.11406 0.55712
SimplifiedLOF 1 0.07843 0.05984 0.04934 0.03017 0.10219 0.08408 0.54707
SimplifiedLOF 10 0.01961 -0.00017 0.03792 0.01851 0.08276 0.06425 0.68254
SimplifiedLOF 15 0.09804 0.07984 0.04232 0.02300 0.09901 0.08083 0.67456
SimplifiedLOF 32 0.09804 0.07984 0.04471 0.02544 0.13699 0.11958 0.62601
LoOP 2 0.03922 0.01983 0.04672 0.02749 0.06120 0.04226 0.55624
LoOP 14 0.03922 0.01983 0.03820 0.01880 0.08780 0.06940 0.67235
LoOP 19 0.09804 0.07984 0.03895 0.01956 0.10619 0.08816 0.66131
LoOP 20 0.09804 0.07984 0.03843 0.01903 0.11650 0.09868 0.65316
LDOF 2 0.05882 0.03984 0.04452 0.02524 0.10000 0.08184 0.51590
LDOF 23 0.03922 0.01983 0.03221 0.01268 0.08333 0.06484 0.62120
LDOF 34 0.09804 0.07984 0.03231 0.01279 0.10169 0.08357 0.59187
LDOF 37 0.09804 0.07984 0.03297 0.01346 0.10714 0.08913 0.58426
ODIN 4 0.03213 0.01260 0.02929 0.00970 0.05882 0.03984 0.64987
ODIN 5 0.04124 0.02189 0.03036 0.01080 0.06531 0.04645 0.64832
ODIN 64 0.07059 0.05184 0.02935 0.00977 0.09174 0.07342 0.54807
FastABOD 3 0.09804 0.07984 0.06372 0.04483 0.13514 0.11769 0.70757
KDEOS 3 0.07843 0.05984 0.03310 0.01359 0.08696 0.06854 0.53720
KDEOS 42 0.01961 -0.00017 0.03370 0.01421 0.08247 0.06396 0.66266
KDEOS 53 0.01961 -0.00017 0.03287 0.01335 0.09756 0.07936 0.64021
KDEOS 66 0.01961 -0.00017 0.03414 0.01466 0.08671 0.06828 0.62709
LDF 6 0.09804 0.07984 0.04127 0.02193 0.10959 0.09163 0.59421
LDF 9 0.07843 0.05984 0.06278 0.04387 0.10811 0.09012 0.65424
LDF 48 0.09804 0.07984 0.04549 0.02624 0.13333 0.11585 0.58823
INFLO 1 0.05882 0.03984 0.04856 0.02936 0.07500 0.05634 0.55270
INFLO 12 0.03922 0.01983 0.03901 0.01963 0.11667 0.09885 0.66277
INFLO 13 0.07843 0.05984 0.04098 0.02164 0.11111 0.09318 0.68297
INFLO 14 0.09804 0.07984 0.04119 0.02185 0.10909 0.09112 0.67711
COF 12 0.09804 0.07984 0.03955 0.02018 0.10417 0.08609 0.59971
COF 18 0.09804 0.07984 0.05475 0.03568 0.14085 0.12351 0.63465
COF 29 0.09804 0.07984 0.06663 0.04780 0.16667 0.14985 0.59550
COF 33 0.09804 0.07984 0.07049 0.05174 0.16393 0.14707 0.59612

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 57 attributes, 2844 objects, 56 outliers (1.97%)

Download raw algorithm results (23.2 MB) Download raw algorithm evaluation table (61.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.14286 0.12564 0.09146 0.07322 0.18182 0.16538 0.79335
KNN 2 0.16071 0.14386 0.11111 0.09326 0.19718 0.18106 0.77863
KNNW 1 0.14286 0.12564 0.11362 0.09581 0.19178 0.17555 0.80577
KNNW 3 0.16071 0.14386 0.11344 0.09564 0.19178 0.17555 0.79473
KNNW 5 0.14286 0.12564 0.11004 0.09216 0.19718 0.18106 0.78729
LOF 6 0.07143 0.05278 0.03769 0.01836 0.11321 0.09540 0.62811
LOF 9 0.01786 -0.00187 0.03668 0.01733 0.12214 0.10450 0.63178
LOF 93 0.07143 0.05278 0.03737 0.01803 0.07921 0.06071 0.66455
SimplifiedLOF 3 0.05357 0.03456 0.03586 0.01650 0.09467 0.07649 0.65917
SimplifiedLOF 4 0.03571 0.01635 0.03723 0.01790 0.10989 0.09201 0.64397
SimplifiedLOF 9 0.03571 0.01635 0.03568 0.01631 0.11250 0.09467 0.61912
LoOP 11 0.10714 0.08921 0.04022 0.02094 0.11852 0.10081 0.61965
LoOP 12 0.08929 0.07099 0.03759 0.01826 0.10853 0.09062 0.62022
LoOP 15 0.08929 0.07099 0.03582 0.01645 0.12214 0.10450 0.60508
LDOF 2 0.05357 0.03456 0.02586 0.00630 0.05832 0.03941 0.56278
LDOF 4 0.00000 -0.02009 0.02746 0.00792 0.06607 0.04731 0.59190
LDOF 6 0.01786 -0.00187 0.02956 0.01006 0.09562 0.07745 0.55668
LDOF 12 0.05357 0.03456 0.03038 0.01090 0.08579 0.06743 0.55906
ODIN 5 0.03980 0.02051 0.02769 0.00816 0.06226 0.04342 0.61331
ODIN 10 0.03261 0.01318 0.03024 0.01076 0.06795 0.04923 0.64525
ODIN 42 0.03571 0.01635 0.02952 0.01002 0.07330 0.05468 0.60962
FastABOD 6 0.14286 0.12564 0.06621 0.04745 0.15094 0.13389 0.77840
FastABOD 11 0.14286 0.12564 0.07620 0.05764 0.17391 0.15732 0.78271
FastABOD 70 0.12500 0.10742 0.08790 0.06958 0.18421 0.16782 0.77474
FastABOD 97 0.12500 0.10742 0.08846 0.07015 0.18421 0.16782 0.77502
KDEOS 2 0.05357 0.03456 0.02856 0.00904 0.06316 0.04434 0.56984
KDEOS 43 0.03571 0.01635 0.02966 0.01017 0.07692 0.05838 0.62832
KDEOS 47 0.01786 -0.00187 0.02887 0.00936 0.06231 0.04348 0.63012
LDF 66 0.12500 0.10742 0.04953 0.03044 0.13158 0.11414 0.66823
LDF 75 0.10714 0.08921 0.04746 0.02832 0.13793 0.12062 0.67215
LDF 88 0.10714 0.08921 0.05094 0.03188 0.12500 0.10742 0.70174
LDF 99 0.10714 0.08921 0.04943 0.03034 0.11765 0.09992 0.71311
INFLO 6 0.07143 0.05278 0.03638 0.01702 0.09783 0.07970 0.60944
INFLO 8 0.05357 0.03456 0.03514 0.01576 0.10667 0.08872 0.58349
INFLO 57 0.00000 -0.02009 0.02953 0.01003 0.07025 0.05158 0.63118
INFLO 95 0.07143 0.05278 0.03698 0.01764 0.09272 0.07449 0.62644
COF 9 0.10714 0.08921 0.04490 0.02571 0.12698 0.10945 0.66252
COF 13 0.08929 0.07099 0.03930 0.02000 0.10526 0.08729 0.67444

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO