Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

SpamBase (2% of outliers version#02)

A data set representing emails classified as spam (outliers) or nonspam.

Download all data set variants used (25.4 MB). You can also access the original data. (spambase.data)

Normalized, without duplicates

This version contains 57 attributes, 2579 objects, 51 outliers (1.98%)

Download raw algorithm results (23.1 MB) Download raw algorithm evaluation table (66.0 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.13725 0.11985 0.09633 0.07810 0.19883 0.18267 0.81404
KNN 2 0.15686 0.13985 0.10225 0.08414 0.20118 0.18507 0.80059
KNNW 2 0.13725 0.11985 0.09966 0.08150 0.19672 0.18052 0.81327
KNNW 4 0.15686 0.13985 0.09657 0.07835 0.20809 0.19212 0.80671
KNNW 7 0.17647 0.15986 0.09271 0.07441 0.19101 0.17469 0.79694
LOF 9 0.07843 0.05984 0.05523 0.03617 0.12100 0.10326 0.77115
LOF 56 0.05882 0.03984 0.07320 0.05451 0.17297 0.15629 0.77561
LOF 68 0.05882 0.03984 0.07405 0.05537 0.15459 0.13753 0.77767
LOF 82 0.05882 0.03984 0.07176 0.05303 0.14815 0.13096 0.78096
SimplifiedLOF 38 0.01961 -0.00017 0.04687 0.02764 0.11419 0.09632 0.76578
SimplifiedLOF 66 0.09804 0.07984 0.05008 0.03092 0.10638 0.08836 0.74006
SimplifiedLOF 99 0.03922 0.01983 0.06121 0.04227 0.15951 0.14255 0.75517
SimplifiedLOF 100 0.03922 0.01983 0.06121 0.04227 0.15854 0.14156 0.75575
LoOP 84 0.11765 0.09985 0.07878 0.06020 0.16774 0.15095 0.78678
LoOP 86 0.11765 0.09985 0.07940 0.06083 0.17178 0.15507 0.78738
LoOP 89 0.11765 0.09985 0.07923 0.06066 0.17544 0.15880 0.78885
LoOP 91 0.09804 0.07984 0.07834 0.05975 0.17751 0.16092 0.78857
LDOF 11 0.07843 0.05984 0.04866 0.02946 0.09726 0.07905 0.73889
LDOF 98 0.07843 0.05984 0.07671 0.05808 0.16561 0.14877 0.77074
LDOF 100 0.07843 0.05984 0.07713 0.05851 0.16250 0.14560 0.77132
ODIN 38 0.02328 0.00358 0.05413 0.03504 0.12500 0.10735 0.76253
ODIN 90 0.04248 0.02317 0.05933 0.04035 0.13816 0.12077 0.76034
ODIN 94 0.03676 0.01733 0.05961 0.04064 0.14141 0.12409 0.76099
ODIN 100 0.04052 0.02117 0.05989 0.04092 0.13746 0.12006 0.75926
FastABOD 7 0.13725 0.11985 0.08403 0.06555 0.18889 0.17253 0.78255
FastABOD 10 0.11765 0.09985 0.08600 0.06757 0.19149 0.17518 0.78410
FastABOD 17 0.13725 0.11985 0.08894 0.07056 0.20118 0.18507 0.78198
FastABOD 57 0.13725 0.11985 0.10174 0.08362 0.19108 0.17476 0.78351
KDEOS 15 0.07843 0.05984 0.03624 0.01680 0.08602 0.06758 0.65715
KDEOS 17 0.07843 0.05984 0.04001 0.02065 0.10667 0.08864 0.65327
KDEOS 18 0.07843 0.05984 0.03810 0.01870 0.08511 0.06665 0.66120
KDEOS 22 0.05882 0.03984 0.05166 0.03253 0.07385 0.05516 0.64423
LDF 5 0.03922 0.01983 0.04741 0.02819 0.11601 0.09818 0.76774
LDF 55 0.11538 0.09754 0.04453 0.02526 0.13514 0.11769 0.62275
LDF 68 0.07843 0.05984 0.04230 0.02298 0.14286 0.12557 0.64811
LDF 100 0.05882 0.03984 0.05948 0.04051 0.12155 0.10383 0.67472
INFLO 56 0.07843 0.05984 0.07756 0.05896 0.16854 0.15177 0.78758
INFLO 57 0.09804 0.07984 0.07749 0.05888 0.16327 0.14638 0.78718
INFLO 59 0.09804 0.07984 0.07778 0.05917 0.16575 0.14892 0.78692
INFLO 73 0.05882 0.03984 0.07588 0.05723 0.15854 0.14156 0.78914
COF 9 0.07843 0.05984 0.04788 0.02867 0.09380 0.07552 0.72774
COF 25 0.05882 0.03984 0.06715 0.04833 0.18450 0.16805 0.80128
COF 27 0.05882 0.03984 0.06883 0.05004 0.17455 0.15789 0.80541

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 57 attributes, 2844 objects, 56 outliers (1.97%)

Download raw algorithm results (23.4 MB) Download raw algorithm evaluation table (67.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.16071 0.14386 0.10668 0.08874 0.21591 0.20016 0.84873
KNN 2 0.17857 0.16207 0.10971 0.09183 0.19048 0.17422 0.83827
KNNW 1 0.16071 0.14386 0.10500 0.08703 0.21429 0.19850 0.84469
KNNW 2 0.16071 0.14386 0.10784 0.08992 0.20879 0.19290 0.86115
KNNW 3 0.17857 0.16207 0.10889 0.09099 0.20382 0.18783 0.85526
LOF 12 0.00000 -0.02009 0.05545 0.03648 0.12121 0.10356 0.81534
LOF 13 0.00000 -0.02009 0.05569 0.03672 0.12394 0.10635 0.81523
LOF 15 0.00000 -0.02009 0.05494 0.03596 0.12426 0.10667 0.81352
LOF 98 0.08929 0.07099 0.04132 0.02206 0.08929 0.07099 0.66848
SimplifiedLOF 13 0.00000 -0.02009 0.04569 0.02652 0.09748 0.07935 0.78368
SimplifiedLOF 25 0.00000 -0.02009 0.04324 0.02403 0.10175 0.08371 0.77555
SimplifiedLOF 91 0.05357 0.03456 0.03419 0.01479 0.07984 0.06135 0.68191
LoOP 16 0.05357 0.03456 0.05422 0.03522 0.12429 0.10670 0.80217
LoOP 23 0.05357 0.03456 0.05614 0.03719 0.12923 0.11174 0.80539
LoOP 25 0.05357 0.03456 0.05556 0.03659 0.13333 0.11593 0.80128
LDOF 2 0.01786 -0.00187 0.02627 0.00672 0.06487 0.04609 0.61155
LDOF 25 0.00000 -0.02009 0.04935 0.03025 0.11321 0.09540 0.79332
LDOF 26 0.00000 -0.02009 0.04874 0.02963 0.10829 0.09038 0.79350
LDOF 31 0.00000 -0.02009 0.04862 0.02951 0.11531 0.09754 0.78972
ODIN 82 0.05357 0.03456 0.05673 0.03778 0.12821 0.11069 0.76327
ODIN 98 0.06845 0.04974 0.05749 0.03856 0.13497 0.11759 0.76121
ODIN 100 0.06845 0.04974 0.05784 0.03892 0.13836 0.12106 0.76292
FastABOD 6 0.00000 -0.02009 0.05716 0.03822 0.13276 0.11534 0.80498
FastABOD 20 0.07143 0.05278 0.05892 0.04002 0.12598 0.10843 0.79473
FastABOD 93 0.07143 0.05278 0.06138 0.04253 0.12876 0.11126 0.78762
KDEOS 5 0.03571 0.01635 0.04056 0.02129 0.12941 0.11193 0.68642
KDEOS 6 0.07143 0.05278 0.04297 0.02375 0.11765 0.09992 0.72258
KDEOS 10 0.03571 0.01635 0.04425 0.02506 0.08437 0.06598 0.73005
KDEOS 20 0.03571 0.01635 0.04013 0.02085 0.09016 0.07189 0.74558
LDF 5 0.05357 0.03456 0.04692 0.02778 0.10774 0.08982 0.75715
LDF 6 0.05357 0.03456 0.04953 0.03044 0.10501 0.08704 0.77482
LDF 7 0.07143 0.05278 0.04874 0.02963 0.10245 0.08442 0.76558
INFLO 13 0.00000 -0.02009 0.05657 0.03762 0.13274 0.11532 0.81454
INFLO 14 0.00000 -0.02009 0.05608 0.03712 0.13636 0.11902 0.81397
INFLO 96 0.08929 0.07099 0.04192 0.02267 0.09346 0.07525 0.68548
COF 3 0.01786 -0.00187 0.03246 0.01303 0.07240 0.05377 0.69707
COF 22 0.00000 -0.02009 0.05372 0.03471 0.12658 0.10904 0.78838
COF 23 0.01786 -0.00187 0.05273 0.03370 0.12766 0.11014 0.77005

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 57 attributes, 2579 objects, 51 outliers (1.98%)

Download raw algorithm results (22.4 MB) Download raw algorithm evaluation table (59.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.07843 0.05984 0.09230 0.07399 0.13880 0.12143 0.76322
KNN 5 0.07843 0.05984 0.08984 0.07148 0.17219 0.15549 0.75792
KNNW 1 0.11765 0.09985 0.07788 0.05928 0.14379 0.12652 0.74805
KNNW 2 0.07843 0.05984 0.09198 0.07366 0.13793 0.12054 0.76807
KNNW 3 0.07843 0.05984 0.09215 0.07384 0.13878 0.12140 0.76672
KNNW 13 0.07843 0.05984 0.08503 0.06657 0.16149 0.14457 0.75689
LOF 6 0.09804 0.07984 0.04467 0.02540 0.11940 0.10164 0.58910
LOF 23 0.09804 0.07984 0.05780 0.03879 0.13333 0.11585 0.63275
LOF 27 0.09804 0.07984 0.06168 0.04275 0.12821 0.11062 0.63892
LOF 55 0.05882 0.03984 0.04554 0.02628 0.07299 0.05429 0.64871
SimplifiedLOF 9 0.09804 0.07984 0.04556 0.02630 0.12121 0.10348 0.60276
SimplifiedLOF 21 0.09804 0.07984 0.06980 0.05103 0.12821 0.11062 0.63826
SimplifiedLOF 32 0.09804 0.07984 0.05824 0.03924 0.13699 0.11958 0.64832
SimplifiedLOF 93 0.09804 0.07984 0.05070 0.03155 0.11236 0.09445 0.67106
LoOP 6 0.09804 0.07984 0.03878 0.01939 0.10370 0.08562 0.58726
LoOP 19 0.09804 0.07984 0.05526 0.03620 0.12821 0.11062 0.62570
LoOP 35 0.09804 0.07984 0.05265 0.03354 0.14085 0.12351 0.63751
LoOP 86 0.07843 0.05984 0.04710 0.02787 0.09259 0.07429 0.64920
LDOF 4 0.03922 0.01983 0.03394 0.01445 0.08190 0.06337 0.59792
LDOF 9 0.09804 0.07984 0.03632 0.01688 0.13223 0.11472 0.53337
LDOF 15 0.11765 0.09985 0.03892 0.01953 0.12500 0.10735 0.54914
LDOF 53 0.09804 0.07984 0.04117 0.02182 0.11364 0.09575 0.56704
ODIN 11 0.03614 0.01670 0.03083 0.01127 0.06699 0.04816 0.65227
ODIN 29 0.05359 0.03450 0.03529 0.01583 0.09756 0.07936 0.63162
ODIN 31 0.05322 0.03412 0.03488 0.01541 0.10390 0.08582 0.63173
ODIN 81 0.07843 0.05984 0.03012 0.01055 0.07921 0.06063 0.61054
FastABOD 3 0.07843 0.05984 0.07748 0.05887 0.13208 0.11457 0.78104
KDEOS 17 0.09804 0.07984 0.05802 0.03902 0.11268 0.09478 0.60687
KDEOS 24 0.07843 0.05984 0.07139 0.05266 0.09449 0.07622 0.61485
KDEOS 76 0.07843 0.05984 0.04180 0.02247 0.12121 0.10348 0.67397
KDEOS 81 0.05882 0.03984 0.04039 0.02103 0.09589 0.07765 0.67654
LDF 3 0.09804 0.07984 0.04418 0.02489 0.14085 0.12351 0.53730
LDF 10 0.11765 0.09985 0.06779 0.04898 0.13333 0.11585 0.64109
LDF 60 0.09804 0.07984 0.07322 0.05452 0.13158 0.11406 0.68382
LDF 96 0.09804 0.07984 0.04827 0.02907 0.10526 0.08721 0.69987
INFLO 6 0.11765 0.09985 0.04474 0.02547 0.11765 0.09985 0.59815
INFLO 24 0.09804 0.07984 0.06173 0.04280 0.13158 0.11406 0.65526
INFLO 25 0.09804 0.07984 0.06479 0.04592 0.13158 0.11406 0.64711
INFLO 34 0.09804 0.07984 0.05630 0.03726 0.12195 0.10424 0.68342
COF 8 0.11765 0.09985 0.05407 0.03499 0.14286 0.12557 0.57783
COF 22 0.09804 0.07984 0.08151 0.06298 0.15385 0.13678 0.61833
COF 65 0.11765 0.09985 0.08656 0.06813 0.13793 0.12054 0.68835

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 57 attributes, 2844 objects, 56 outliers (1.97%)

Download raw algorithm results (23.2 MB) Download raw algorithm evaluation table (60.5 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.16071 0.14386 0.11811 0.10040 0.19277 0.17656 0.82675
KNN 2 0.14286 0.12564 0.12843 0.11093 0.20253 0.18651 0.81898
KNNW 2 0.14286 0.12564 0.11966 0.10198 0.20779 0.19188 0.83674
KNNW 3 0.14286 0.12564 0.12742 0.10990 0.20253 0.18651 0.83185
LOF 90 0.14286 0.12564 0.06218 0.04334 0.14754 0.13042 0.68342
LOF 94 0.14286 0.12564 0.06419 0.04539 0.14953 0.13245 0.68980
LOF 100 0.14286 0.12564 0.06235 0.04351 0.15054 0.13348 0.69514
SimplifiedLOF 100 0.12500 0.10742 0.04398 0.02478 0.12727 0.10974 0.65934
LoOP 8 0.05357 0.03456 0.03445 0.01505 0.08696 0.06862 0.65188
LoOP 98 0.10714 0.08921 0.04717 0.02803 0.14173 0.12449 0.63956
LoOP 99 0.12500 0.10742 0.04754 0.02841 0.14173 0.12449 0.64261
LoOP 100 0.12500 0.10742 0.04769 0.02857 0.14173 0.12449 0.64258
LDOF 92 0.07143 0.05278 0.02973 0.01024 0.08791 0.06959 0.57633
LDOF 100 0.07143 0.05278 0.03262 0.01318 0.10000 0.08192 0.57997
ODIN 12 0.01333 -0.00648 0.02980 0.01031 0.06376 0.04496 0.67208
ODIN 75 0.01786 -0.00187 0.03042 0.01095 0.09231 0.07408 0.61536
ODIN 88 0.00649 -0.01346 0.03221 0.01277 0.08511 0.06673 0.63300
ODIN 95 0.04018 0.02090 0.03133 0.01187 0.07955 0.06106 0.63832
FastABOD 9 0.08929 0.07099 0.07087 0.05221 0.13115 0.11370 0.81698
FastABOD 70 0.10714 0.08921 0.09024 0.07197 0.13699 0.11965 0.81568
FastABOD 80 0.10714 0.08921 0.09056 0.07229 0.13699 0.11965 0.81599
KDEOS 2 0.03571 0.01635 0.02418 0.00458 0.06349 0.04468 0.53854
KDEOS 6 0.00000 -0.02009 0.02788 0.00836 0.08649 0.06814 0.59582
KDEOS 85 0.01786 -0.00187 0.03240 0.01297 0.07461 0.05602 0.68242
KDEOS 96 0.03571 0.01635 0.03362 0.01421 0.07023 0.05155 0.67982
LDF 64 0.16071 0.14386 0.09054 0.07227 0.18182 0.16538 0.70144
LDF 89 0.17857 0.16207 0.07145 0.05280 0.17857 0.16207 0.74412
LDF 98 0.17857 0.16207 0.07156 0.05291 0.18519 0.16882 0.75341
INFLO 91 0.16071 0.14386 0.06102 0.04216 0.16216 0.14533 0.66280
INFLO 93 0.16071 0.14386 0.06239 0.04356 0.16514 0.14837 0.67337
INFLO 96 0.14286 0.12564 0.06314 0.04433 0.15929 0.14241 0.65378
INFLO 100 0.16071 0.14386 0.06307 0.04425 0.16667 0.14993 0.66677
COF 10 0.10714 0.08921 0.03706 0.01772 0.10714 0.08921 0.63646
COF 38 0.08929 0.07099 0.04040 0.02113 0.10989 0.09201 0.69339
COF 96 0.08929 0.07099 0.06316 0.04435 0.14085 0.12359 0.67186
COF 100 0.10714 0.08921 0.06739 0.04865 0.14085 0.12359 0.67227

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO