Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

SpamBase (2% of outliers version#03)

A data set representing emails classified as spam (outliers) or nonspam.

Download all data set variants used (25.4 MB). You can also access the original data. (spambase.data)

Normalized, without duplicates

This version contains 57 attributes, 2579 objects, 51 outliers (1.98%)

Download raw algorithm results (23.1 MB) Download raw algorithm evaluation table (63.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.11765 0.09985 0.10562 0.08758 0.18750 0.17111 0.76200
KNN 2 0.11765 0.09985 0.10131 0.08318 0.18182 0.16531 0.76873
KNN 3 0.15686 0.13985 0.10767 0.08967 0.17054 0.15381 0.76134
KNNW 1 0.17647 0.15986 0.13318 0.11570 0.22535 0.20972 0.77755
LOF 8 0.09804 0.07984 0.07299 0.05429 0.16290 0.14601 0.82061
LOF 9 0.07843 0.05984 0.07266 0.05395 0.16346 0.14659 0.82312
LOF 10 0.07843 0.05984 0.07288 0.05418 0.15510 0.13806 0.82361
LOF 57 0.11765 0.09985 0.06555 0.04669 0.12613 0.10850 0.70484
SimplifiedLOF 9 0.05882 0.03984 0.06102 0.04208 0.14384 0.12656 0.79957
SimplifiedLOF 79 0.09804 0.07984 0.04589 0.02664 0.09804 0.07984 0.68107
LoOP 7 0.05882 0.03984 0.06887 0.05009 0.16049 0.14356 0.78390
LoOP 9 0.05882 0.03984 0.06704 0.04822 0.14480 0.12754 0.80186
LoOP 63 0.11765 0.09985 0.07839 0.05980 0.12987 0.11232 0.73697
LoOP 66 0.13725 0.11985 0.07668 0.05805 0.13725 0.11985 0.73177
LDOF 16 0.03922 0.01983 0.06517 0.04631 0.15291 0.13582 0.78753
LDOF 30 0.07843 0.05984 0.06969 0.05092 0.13953 0.12218 0.80166
LDOF 93 0.11765 0.09985 0.08463 0.06616 0.14634 0.12912 0.72782
LDOF 100 0.13725 0.11985 0.08380 0.06532 0.14815 0.13096 0.72280
ODIN 17 0.12237 0.10467 0.05835 0.03935 0.13043 0.11289 0.74370
ODIN 29 0.09004 0.07168 0.05852 0.03952 0.10959 0.09163 0.75252
ODIN 100 0.12185 0.10413 0.07361 0.05492 0.14359 0.12631 0.73196
FastABOD 5 0.13725 0.11985 0.09648 0.07825 0.18785 0.17146 0.77276
FastABOD 6 0.15686 0.13985 0.09453 0.07626 0.20000 0.18386 0.76956
FastABOD 42 0.13725 0.11985 0.13083 0.11330 0.20859 0.19262 0.76238
FastABOD 47 0.13725 0.11985 0.12973 0.11217 0.21519 0.19936 0.76297
KDEOS 4 0.01961 -0.00017 0.03184 0.01231 0.08889 0.07051 0.62077
KDEOS 6 0.03922 0.01983 0.03944 0.02006 0.08602 0.06758 0.68724
KDEOS 21 0.03922 0.01983 0.05315 0.03405 0.06822 0.04942 0.67342
KDEOS 52 0.07843 0.05984 0.03249 0.01297 0.07843 0.05984 0.65371
LDF 5 0.11765 0.09985 0.04868 0.02948 0.11765 0.09985 0.72605
LDF 6 0.09804 0.07984 0.04460 0.02532 0.11321 0.09532 0.72615
LDF 97 0.09804 0.07984 0.06744 0.04862 0.11650 0.09868 0.66482
INFLO 9 0.09804 0.07984 0.07487 0.05620 0.16071 0.14378 0.81661
INFLO 50 0.13725 0.11985 0.07136 0.05263 0.13725 0.11985 0.73148
INFLO 55 0.13725 0.11985 0.07557 0.05692 0.14141 0.12409 0.73408
COF 15 0.11765 0.09985 0.06458 0.04571 0.17600 0.15938 0.75828
COF 17 0.15686 0.13985 0.06563 0.04678 0.16949 0.15274 0.75894
COF 18 0.15686 0.13985 0.06686 0.04803 0.16327 0.14638 0.76034
COF 19 0.13725 0.11985 0.06620 0.04736 0.15238 0.13528 0.76123

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 57 attributes, 2844 objects, 56 outliers (1.97%)

Download raw algorithm results (23.4 MB) Download raw algorithm evaluation table (67.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.17857 0.16207 0.11235 0.09452 0.20619 0.19024 0.85829
KNN 2 0.19643 0.18029 0.10013 0.08205 0.19820 0.18209 0.84767
KNNW 2 0.16071 0.14386 0.11308 0.09527 0.21552 0.19976 0.86481
KNNW 3 0.19643 0.18029 0.11512 0.09735 0.21239 0.19657 0.86039
LOF 12 0.00000 -0.02009 0.06255 0.04372 0.15676 0.13982 0.84011
LOF 14 0.00000 -0.02009 0.06265 0.04382 0.16438 0.14760 0.83531
LOF 77 0.05357 0.03456 0.04041 0.02113 0.08000 0.06152 0.70401
SimplifiedLOF 15 0.00000 -0.02009 0.05061 0.03154 0.12083 0.10317 0.80688
SimplifiedLOF 17 0.00000 -0.02009 0.05088 0.03182 0.12288 0.10526 0.80595
SimplifiedLOF 92 0.05357 0.03456 0.03946 0.02017 0.07647 0.05792 0.69380
LoOP 11 0.07143 0.05278 0.05820 0.03928 0.12541 0.10785 0.82220
LoOP 18 0.03571 0.01635 0.06462 0.04584 0.13737 0.12005 0.83758
LoOP 25 0.03571 0.01635 0.06348 0.04467 0.14898 0.13189 0.83463
LDOF 12 0.03571 0.01635 0.05018 0.03110 0.11561 0.09784 0.78892
LDOF 17 0.03571 0.01635 0.05430 0.03530 0.13077 0.11331 0.81023
LDOF 33 0.01786 -0.00187 0.05506 0.03608 0.12854 0.11104 0.81938
ODIN 47 0.07458 0.05599 0.06512 0.04635 0.14334 0.12614 0.80717
ODIN 67 0.09143 0.07318 0.06837 0.04966 0.14966 0.13258 0.79924
ODIN 98 0.10417 0.08617 0.06898 0.05028 0.14184 0.12461 0.79972
ODIN 100 0.10417 0.08617 0.06966 0.05097 0.14388 0.12669 0.80099
FastABOD 20 0.08929 0.07099 0.06475 0.04596 0.15625 0.13930 0.80944
FastABOD 47 0.08929 0.07099 0.06464 0.04585 0.14013 0.12286 0.81052
FastABOD 69 0.10714 0.08921 0.06485 0.04607 0.14239 0.12517 0.80834
FastABOD 79 0.10714 0.08921 0.06797 0.04925 0.14332 0.12612 0.81035
KDEOS 5 0.07143 0.05278 0.04248 0.02325 0.09589 0.07773 0.69532
KDEOS 7 0.05357 0.03456 0.04192 0.02267 0.11765 0.09992 0.68548
KDEOS 16 0.00000 -0.02009 0.03888 0.01957 0.10156 0.08352 0.72608
LDF 2 0.07143 0.05278 0.05168 0.03263 0.11465 0.09687 0.77272
LDF 5 0.07143 0.05278 0.05372 0.03472 0.11705 0.09931 0.79347
INFLO 6 0.05357 0.03456 0.05097 0.03191 0.10983 0.09195 0.79261
INFLO 15 0.00000 -0.02009 0.06431 0.04552 0.14458 0.12740 0.84570
INFLO 18 0.00000 -0.02009 0.06283 0.04400 0.15179 0.13475 0.84034
COF 11 0.05357 0.03456 0.05342 0.03441 0.12268 0.10505 0.80299
COF 19 0.03571 0.01635 0.06169 0.04284 0.14164 0.12440 0.81299
COF 29 0.01786 -0.00187 0.06428 0.04548 0.15723 0.14030 0.80642
COF 30 0.01786 -0.00187 0.06152 0.04267 0.15730 0.14038 0.79579

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 57 attributes, 2579 objects, 51 outliers (1.98%)

Download raw algorithm results (22.4 MB) Download raw algorithm evaluation table (59.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.17647 0.15986 0.10177 0.08365 0.20513 0.18909 0.74723
KNN 62 0.07843 0.05984 0.05807 0.03906 0.12676 0.10914 0.75683
KNNW 1 0.19608 0.17986 0.11779 0.09999 0.22857 0.21301 0.75927
LOF 42 0.13725 0.11985 0.05542 0.03637 0.14286 0.12557 0.58072
LOF 73 0.13725 0.11985 0.06087 0.04192 0.15385 0.13678 0.60697
LOF 86 0.13725 0.11985 0.05769 0.03868 0.16438 0.14753 0.61833
LOF 100 0.13725 0.11985 0.05247 0.03336 0.16216 0.14526 0.63224
SimplifiedLOF 2 0.11765 0.09985 0.08144 0.06291 0.13793 0.12054 0.58734
SimplifiedLOF 9 0.13725 0.11985 0.05512 0.03606 0.17073 0.15400 0.61549
SimplifiedLOF 46 0.15686 0.13985 0.05709 0.03807 0.17722 0.16062 0.57731
SimplifiedLOF 53 0.15686 0.13985 0.06016 0.04120 0.18824 0.17186 0.57734
LoOP 12 0.11765 0.09985 0.04485 0.02558 0.12963 0.11207 0.60614
LoOP 53 0.13725 0.11985 0.04864 0.02944 0.15385 0.13678 0.55019
LoOP 59 0.13725 0.11985 0.05007 0.03091 0.16279 0.14590 0.55254
LoOP 96 0.13725 0.11985 0.05752 0.03851 0.15217 0.13507 0.57596
LDOF 2 0.09804 0.07984 0.04960 0.03043 0.10753 0.08952 0.61246
LDOF 3 0.05882 0.03984 0.05399 0.03491 0.10329 0.08520 0.58348
LDOF 68 0.11765 0.09985 0.03335 0.01385 0.12121 0.10348 0.49362
LDOF 78 0.09804 0.07984 0.03471 0.01523 0.13208 0.11457 0.49701
ODIN 12 0.01370 -0.00620 0.02544 0.00578 0.05236 0.03324 0.60180
ODIN 32 0.03922 0.01983 0.02767 0.00805 0.08612 0.06769 0.56382
ODIN 69 0.05882 0.03984 0.02845 0.00885 0.07500 0.05634 0.55546
ODIN 99 0.04278 0.02347 0.02923 0.00965 0.08072 0.06217 0.56842
FastABOD 3 0.15686 0.13985 0.09114 0.07280 0.15686 0.13985 0.76868
FastABOD 7 0.13725 0.11985 0.09072 0.07238 0.15172 0.13461 0.78174
FastABOD 59 0.13725 0.11985 0.09156 0.07324 0.14925 0.13209 0.77852
KDEOS 5 0.01961 -0.00017 0.03361 0.01411 0.05333 0.03424 0.56310
KDEOS 7 0.03922 0.01983 0.03214 0.01261 0.08696 0.06854 0.59315
KDEOS 8 0.01961 -0.00017 0.02831 0.00871 0.06897 0.05018 0.59521
KDEOS 85 0.07843 0.05984 0.02952 0.00994 0.07921 0.06063 0.58681
LDF 14 0.15686 0.13985 0.06467 0.04580 0.16216 0.14526 0.59808
LDF 54 0.15686 0.13985 0.08429 0.06581 0.21622 0.20040 0.68292
LDF 55 0.15686 0.13985 0.08439 0.06592 0.21622 0.20040 0.68867
LDF 100 0.15686 0.13985 0.06356 0.04467 0.15842 0.14144 0.75697
INFLO 2 0.07843 0.05984 0.06007 0.04111 0.10667 0.08864 0.57512
INFLO 12 0.11765 0.09985 0.04606 0.02682 0.12403 0.10636 0.63098
INFLO 53 0.13725 0.11985 0.05133 0.03219 0.14118 0.12385 0.55695
INFLO 97 0.13725 0.11985 0.05454 0.03546 0.16216 0.14526 0.60125
COF 57 0.15686 0.13985 0.08093 0.06239 0.20000 0.18386 0.62854
COF 64 0.15686 0.13985 0.08143 0.06290 0.18182 0.16531 0.64401
COF 65 0.15686 0.13985 0.07896 0.06038 0.18182 0.16531 0.64657
COF 80 0.17647 0.15986 0.06819 0.04939 0.18000 0.16346 0.63153

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 57 attributes, 2844 objects, 56 outliers (1.97%)

Download raw algorithm results (23.2 MB) Download raw algorithm evaluation table (64.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.19643 0.18029 0.12347 0.10586 0.23438 0.21900 0.80864
KNNW 1 0.21429 0.19850 0.14703 0.12990 0.22857 0.21308 0.82437
KNNW 2 0.17857 0.16207 0.13664 0.11930 0.22901 0.21352 0.81716
LOF 9 0.01786 -0.00187 0.03065 0.01118 0.09160 0.07336 0.61137
LOF 83 0.03571 0.01635 0.03392 0.01451 0.07756 0.05903 0.67986
LOF 100 0.03571 0.01635 0.03691 0.01757 0.08980 0.07151 0.69533
SimplifiedLOF 3 0.01786 -0.00187 0.02735 0.00781 0.06691 0.04817 0.60572
SimplifiedLOF 7 0.01786 -0.00187 0.03333 0.01392 0.09917 0.08108 0.64018
SimplifiedLOF 9 0.01786 -0.00187 0.03274 0.01331 0.10000 0.08192 0.64325
SimplifiedLOF 100 0.01786 -0.00187 0.03209 0.01265 0.06897 0.05026 0.67949
LoOP 4 0.03571 0.01635 0.03055 0.01108 0.07829 0.05978 0.62138
LoOP 10 0.03571 0.01635 0.03389 0.01448 0.08081 0.06235 0.65673
LoOP 12 0.03571 0.01635 0.03439 0.01499 0.08696 0.06862 0.65341
LoOP 17 0.03571 0.01635 0.03345 0.01403 0.09045 0.07218 0.65082
LDOF 2 0.03571 0.01635 0.02903 0.00953 0.07491 0.05632 0.58617
LDOF 100 0.01786 -0.00187 0.02486 0.00528 0.05556 0.03659 0.59581
ODIN 6 0.03165 0.01220 0.02867 0.00916 0.05966 0.04077 0.65376
ODIN 24 0.01786 -0.00187 0.02597 0.00641 0.06536 0.04659 0.59911
ODIN 58 0.03571 0.01635 0.02313 0.00350 0.04886 0.02975 0.57114
FastABOD 9 0.16071 0.14386 0.08356 0.06515 0.17241 0.15579 0.80291
FastABOD 70 0.17857 0.16207 0.10326 0.08525 0.18803 0.17172 0.79979
FastABOD 100 0.17857 0.16207 0.10438 0.08639 0.18803 0.17172 0.79970
KDEOS 93 0.07143 0.05278 0.03435 0.01495 0.07339 0.05478 0.67335
KDEOS 98 0.07143 0.05278 0.03588 0.01651 0.08054 0.06207 0.67921
KDEOS 100 0.05357 0.03456 0.03603 0.01667 0.07937 0.06087 0.68010
LDF 82 0.14286 0.12564 0.06718 0.04844 0.17610 0.15955 0.72798
LDF 83 0.16071 0.14386 0.06635 0.04760 0.17600 0.15945 0.72457
LDF 89 0.10714 0.08921 0.06550 0.04673 0.18033 0.16386 0.73012
LDF 100 0.14286 0.12564 0.06672 0.04797 0.17742 0.16090 0.73813
INFLO 6 0.01786 -0.00187 0.03389 0.01449 0.08072 0.06225 0.66131
INFLO 78 0.03571 0.01635 0.03115 0.01169 0.07822 0.05971 0.66213
INFLO 92 0.03571 0.01635 0.03526 0.01588 0.08070 0.06223 0.68398
COF 7 0.05357 0.03456 0.03328 0.01386 0.08939 0.07109 0.63633
COF 12 0.05357 0.03456 0.03739 0.01805 0.12048 0.10282 0.66025
COF 94 0.01786 -0.00187 0.03997 0.02068 0.08936 0.07106 0.72126
COF 100 0.05357 0.03456 0.04144 0.02219 0.08672 0.06838 0.71647

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO