Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

SpamBase (2% of outliers version#06)

A data set representing emails classified as spam (outliers) or nonspam.

Download all data set variants used (25.4 MB). You can also access the original data. (spambase.data)

Normalized, without duplicates

This version contains 57 attributes, 2579 objects, 51 outliers (1.98%)

Download raw algorithm results (23.1 MB) Download raw algorithm evaluation table (63.5 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.11765 0.09985 0.08826 0.06987 0.17284 0.15615 0.78409
KNNW 1 0.09804 0.07984 0.09033 0.07198 0.20325 0.18718 0.75729
KNNW 2 0.11765 0.09985 0.09211 0.07380 0.18868 0.17231 0.77365
KNNW 3 0.13725 0.11985 0.09159 0.07326 0.17590 0.15927 0.77481
LOF 9 0.09804 0.07984 0.07522 0.05656 0.12308 0.10539 0.77331
LOF 48 0.13725 0.11985 0.08524 0.06678 0.15217 0.13507 0.73235
LOF 72 0.13725 0.11985 0.09848 0.08030 0.16471 0.14785 0.74418
LOF 75 0.13725 0.11985 0.09738 0.07917 0.16667 0.14985 0.74424
SimplifiedLOF 16 0.01961 -0.00017 0.06103 0.04208 0.09160 0.07328 0.74740
SimplifiedLOF 84 0.13725 0.11985 0.07600 0.05736 0.14000 0.12265 0.71827
SimplifiedLOF 99 0.13725 0.11985 0.07979 0.06123 0.15054 0.13340 0.72132
SimplifiedLOF 100 0.13725 0.11985 0.07996 0.06140 0.15054 0.13340 0.72142
LoOP 16 0.05882 0.03984 0.05901 0.04003 0.09302 0.07473 0.76017
LoOP 58 0.13725 0.11985 0.07602 0.05738 0.14141 0.12409 0.74388
LoOP 78 0.13725 0.11985 0.08752 0.06911 0.17722 0.16062 0.75570
LoOP 89 0.13725 0.11985 0.09363 0.07535 0.17073 0.15400 0.75951
LDOF 28 0.05882 0.03984 0.06457 0.04570 0.10484 0.08678 0.75801
LDOF 77 0.13725 0.11985 0.09095 0.07261 0.13793 0.12054 0.74486
LDOF 94 0.13725 0.11985 0.10087 0.08273 0.15909 0.14213 0.75185
LDOF 98 0.13725 0.11985 0.10079 0.08265 0.16471 0.14785 0.75134
ODIN 88 0.11765 0.09985 0.06863 0.04984 0.14130 0.12398 0.73885
ODIN 97 0.11765 0.09985 0.07054 0.05179 0.14607 0.12884 0.74120
ODIN 100 0.11765 0.09985 0.07091 0.05217 0.14773 0.13053 0.74085
FastABOD 3 0.11765 0.09985 0.08201 0.06349 0.13793 0.12054 0.75514
FastABOD 5 0.09804 0.07984 0.08266 0.06415 0.14394 0.12667 0.75698
FastABOD 76 0.11765 0.09985 0.10633 0.08831 0.15603 0.13900 0.74407
FastABOD 100 0.11765 0.09985 0.10698 0.08897 0.15493 0.13788 0.74512
KDEOS 5 0.05882 0.03984 0.03202 0.01249 0.07207 0.05335 0.61738
KDEOS 23 0.03922 0.01983 0.05464 0.03557 0.07353 0.05484 0.71043
KDEOS 24 0.03922 0.01983 0.04189 0.02256 0.07904 0.06046 0.71429
KDEOS 100 0.05882 0.03984 0.03991 0.02054 0.09677 0.07855 0.70680
LDF 4 0.17647 0.15986 0.07707 0.05845 0.18182 0.16531 0.78802
INFLO 16 0.03922 0.01983 0.06706 0.04824 0.10420 0.08613 0.76766
INFLO 47 0.13725 0.11985 0.08305 0.06455 0.14583 0.12860 0.74916
INFLO 54 0.13725 0.11985 0.09918 0.08101 0.17949 0.16293 0.75835
INFLO 69 0.13725 0.11985 0.10081 0.08267 0.17722 0.16062 0.75804
COF 13 0.11765 0.09985 0.05504 0.03598 0.11881 0.10103 0.75765
COF 17 0.07843 0.05984 0.05975 0.04078 0.12158 0.10386 0.77389
COF 24 0.05882 0.03984 0.06025 0.04129 0.14465 0.12740 0.76983
COF 89 0.07843 0.05984 0.06649 0.04766 0.11688 0.09907 0.63511

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 57 attributes, 2844 objects, 56 outliers (1.97%)

Download raw algorithm results (23.4 MB) Download raw algorithm evaluation table (68.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.07143 0.05278 0.06309 0.04427 0.15638 0.13943 0.73468
KNN 9 0.14286 0.12564 0.06030 0.04142 0.14545 0.12829 0.69157
KNNW 1 0.08929 0.07099 0.07249 0.05386 0.16064 0.14378 0.75655
KNNW 2 0.08929 0.07099 0.07093 0.05227 0.16858 0.15188 0.74796
KNNW 17 0.12500 0.10742 0.06236 0.04353 0.14583 0.12868 0.69516
LOF 8 0.00000 -0.02009 0.04381 0.02461 0.11243 0.09460 0.70897
LOF 15 0.00000 -0.02009 0.04531 0.02614 0.11045 0.09259 0.74854
LOF 90 0.07143 0.05278 0.03413 0.01473 0.07407 0.05548 0.64346
SimplifiedLOF 14 0.00000 -0.02009 0.04091 0.02165 0.10345 0.08544 0.71711
SimplifiedLOF 15 0.00000 -0.02009 0.04092 0.02165 0.10033 0.08226 0.71957
SimplifiedLOF 23 0.00000 -0.02009 0.04086 0.02160 0.09867 0.08057 0.73257
SimplifiedLOF 92 0.05357 0.03456 0.03079 0.01132 0.07022 0.05154 0.65420
LoOP 6 0.03571 0.01635 0.03482 0.01544 0.08642 0.06807 0.66469
LoOP 15 0.03571 0.01635 0.04588 0.02671 0.12010 0.10243 0.72511
LoOP 24 0.01786 -0.00187 0.04999 0.03091 0.11538 0.09762 0.74751
LoOP 25 0.01786 -0.00187 0.04991 0.03082 0.11600 0.09824 0.74765
LDOF 9 0.03571 0.01635 0.03742 0.01809 0.09865 0.08055 0.67239
LDOF 20 0.00000 -0.02009 0.04301 0.02379 0.10965 0.09177 0.71785
LDOF 21 0.00000 -0.02009 0.04307 0.02385 0.10291 0.08489 0.71946
LDOF 36 0.01786 -0.00187 0.04253 0.02330 0.10773 0.08981 0.72912
ODIN 14 0.09070 0.07244 0.03853 0.01922 0.09259 0.07437 0.66584
ODIN 45 0.04583 0.02667 0.04583 0.02667 0.09231 0.07408 0.68894
ODIN 54 0.05114 0.03208 0.04851 0.02940 0.10671 0.08877 0.68549
ODIN 96 0.05580 0.03684 0.04451 0.02532 0.10884 0.09094 0.67795
FastABOD 5 0.01786 -0.00187 0.03928 0.01998 0.09630 0.07814 0.70518
FastABOD 14 0.05357 0.03456 0.04030 0.02102 0.10000 0.08192 0.69575
FastABOD 61 0.05357 0.03456 0.04275 0.02353 0.10596 0.08800 0.69486
FastABOD 98 0.05357 0.03456 0.04462 0.02543 0.10549 0.08753 0.69753
KDEOS 5 0.01786 -0.00187 0.02733 0.00780 0.07656 0.05801 0.57835
KDEOS 6 0.05357 0.03456 0.03070 0.01123 0.05455 0.03555 0.59330
KDEOS 35 0.03571 0.01635 0.02921 0.00971 0.06325 0.04443 0.64234
LDF 2 0.07143 0.05278 0.03869 0.01938 0.09740 0.07927 0.66904
LDF 4 0.07143 0.05278 0.04566 0.02649 0.10435 0.08636 0.71792
LDF 12 0.05975 0.04087 0.04637 0.02722 0.13174 0.11430 0.68514
INFLO 13 0.00000 -0.02009 0.04445 0.02526 0.11192 0.09408 0.74206
INFLO 14 0.00000 -0.02009 0.04518 0.02600 0.11765 0.09992 0.74042
INFLO 91 0.07143 0.05278 0.03516 0.01578 0.07634 0.05778 0.65986
COF 3 0.05357 0.03456 0.03281 0.01339 0.07120 0.05254 0.62906
COF 20 0.01786 -0.00187 0.04560 0.02643 0.10690 0.08897 0.74665
COF 24 0.03571 0.01635 0.04758 0.02845 0.11356 0.09576 0.74123

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 57 attributes, 2579 objects, 51 outliers (1.98%)

Download raw algorithm results (22.4 MB) Download raw algorithm evaluation table (58.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.17647 0.15986 0.10696 0.08894 0.20225 0.18615 0.75750
KNN 92 0.09804 0.07984 0.06859 0.04980 0.14570 0.12846 0.76055
KNNW 1 0.13725 0.11985 0.11171 0.09379 0.19048 0.17414 0.75081
KNNW 2 0.17647 0.15986 0.10898 0.09101 0.19355 0.17728 0.76000
LOF 1 0.11765 0.09985 0.05414 0.03506 0.12121 0.10348 0.55719
LOF 91 0.11765 0.09985 0.05010 0.03093 0.14634 0.12912 0.63714
LOF 99 0.13725 0.11985 0.05137 0.03223 0.14634 0.12912 0.64118
LOF 100 0.13725 0.11985 0.05147 0.03234 0.14634 0.12912 0.64267
SimplifiedLOF 2 0.11765 0.09985 0.05494 0.03587 0.12500 0.10735 0.61374
SimplifiedLOF 94 0.13725 0.11985 0.05099 0.03185 0.15000 0.13285 0.61235
SimplifiedLOF 100 0.13725 0.11985 0.05202 0.03290 0.14737 0.13017 0.61763
LoOP 2 0.11765 0.09985 0.05685 0.03783 0.13333 0.11585 0.61044
LoOP 8 0.07843 0.05984 0.04638 0.02714 0.13873 0.12135 0.57186
LDOF 2 0.05882 0.03984 0.04079 0.02144 0.09770 0.07950 0.63227
LDOF 3 0.09804 0.07984 0.05358 0.03448 0.12069 0.10295 0.61968
LDOF 6 0.09804 0.07984 0.04553 0.02627 0.13139 0.11386 0.57111
LDOF 12 0.11765 0.09985 0.04335 0.02405 0.12121 0.10348 0.56836
ODIN 3 0.03385 0.01435 0.02748 0.00786 0.05851 0.03952 0.61644
ODIN 18 0.05882 0.03984 0.02243 0.00271 0.06000 0.04104 0.50715
ODIN 22 0.05882 0.03984 0.02362 0.00392 0.06742 0.04860 0.51413
ODIN 98 0.03922 0.01983 0.02793 0.00832 0.06154 0.04261 0.56104
FastABOD 3 0.13725 0.11985 0.10957 0.09161 0.18462 0.16817 0.79509
FastABOD 4 0.13725 0.11985 0.10619 0.08816 0.17910 0.16254 0.79872
KDEOS 3 0.03922 0.01983 0.02843 0.00883 0.06923 0.05045 0.58838
KDEOS 5 0.01961 -0.00017 0.04530 0.02604 0.06306 0.04416 0.58207
KDEOS 18 0.07843 0.05984 0.03172 0.01218 0.08163 0.06311 0.56490
KDEOS 69 0.07843 0.05984 0.03317 0.01366 0.09756 0.07936 0.53237
LDF 63 0.15686 0.13985 0.07173 0.05300 0.16162 0.14470 0.72743
LDF 66 0.13725 0.11985 0.07145 0.05272 0.16867 0.15190 0.73446
LDF 94 0.09804 0.07984 0.07626 0.05762 0.13333 0.11585 0.74593
LDF 99 0.09804 0.07984 0.06798 0.04918 0.13514 0.11769 0.74677
INFLO 1 0.11765 0.09985 0.05385 0.03477 0.14118 0.12385 0.60308
INFLO 6 0.09804 0.07984 0.05608 0.03704 0.11429 0.09642 0.55989
INFLO 100 0.11765 0.09985 0.04768 0.02847 0.12000 0.10225 0.62070
COF 3 0.13725 0.11985 0.06593 0.04708 0.16216 0.14526 0.59408
COF 6 0.15686 0.13985 0.05523 0.03617 0.16981 0.15306 0.55678
COF 7 0.13725 0.11985 0.05482 0.03575 0.18644 0.17003 0.55536
COF 90 0.11765 0.09985 0.04879 0.02960 0.14286 0.12557 0.64387

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 57 attributes, 2844 objects, 56 outliers (1.97%)

Download raw algorithm results (23.2 MB) Download raw algorithm evaluation table (66.5 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.03571 0.01635 0.06061 0.04174 0.13505 0.11767 0.76195
KNN 2 0.07143 0.05278 0.06037 0.04149 0.14035 0.12308 0.74384
KNNW 1 0.08929 0.07099 0.06587 0.04710 0.14013 0.12286 0.76871
KNNW 5 0.05357 0.03456 0.05949 0.04060 0.14583 0.12868 0.75053
LOF 1 0.05357 0.03456 0.02477 0.00519 0.07080 0.05213 0.47222
LOF 3 0.05357 0.03456 0.02659 0.00704 0.07115 0.05249 0.53167
LOF 100 0.00000 -0.02009 0.02657 0.00702 0.06301 0.04419 0.62489
SimplifiedLOF 2 0.05357 0.03456 0.02903 0.00953 0.07018 0.05150 0.59573
SimplifiedLOF 69 0.00000 -0.02009 0.02505 0.00547 0.06140 0.04254 0.60927
LoOP 1 0.05357 0.03456 0.02884 0.00934 0.06715 0.04841 0.56813
LoOP 2 0.01786 -0.00187 0.03424 0.01484 0.06340 0.04459 0.57487
LoOP 4 0.05357 0.03456 0.02987 0.01039 0.07377 0.05517 0.56094
LoOP 67 0.00000 -0.02009 0.02336 0.00375 0.05807 0.03915 0.59221
LDOF 2 0.03571 0.01635 0.02948 0.00998 0.07143 0.05278 0.55710
LDOF 4 0.01786 -0.00187 0.04551 0.02633 0.07092 0.05226 0.56150
LDOF 6 0.03571 0.01635 0.02437 0.00478 0.07407 0.05548 0.49014
ODIN 8 0.03175 0.01230 0.02572 0.00615 0.05348 0.03446 0.59450
ODIN 18 0.05085 0.03178 0.02598 0.00642 0.06757 0.04884 0.57524
ODIN 26 0.06279 0.04396 0.02761 0.00808 0.06299 0.04417 0.58937
FastABOD 6 0.05357 0.03456 0.05096 0.03190 0.12203 0.10440 0.74982
FastABOD 76 0.05357 0.03456 0.05522 0.03624 0.13235 0.11493 0.73684
FastABOD 100 0.05357 0.03456 0.05534 0.03637 0.13139 0.11394 0.73696
KDEOS 5 0.05357 0.03456 0.02985 0.01036 0.06854 0.04983 0.59981
KDEOS 56 0.03571 0.01635 0.02865 0.00914 0.08362 0.06522 0.59439
KDEOS 100 0.05357 0.03456 0.03496 0.01557 0.07143 0.05278 0.62901
LDF 63 0.07143 0.05278 0.03092 0.01145 0.07843 0.05992 0.65022
LDF 100 0.05357 0.03456 0.03796 0.01863 0.08833 0.07002 0.68496
INFLO 2 0.05357 0.03456 0.02749 0.00796 0.07018 0.05150 0.54952
INFLO 3 0.05357 0.03456 0.02993 0.01045 0.07164 0.05299 0.57229
INFLO 63 0.00000 -0.02009 0.02619 0.00663 0.06977 0.05108 0.62121
COF 5 0.05357 0.03456 0.03138 0.01193 0.06849 0.04978 0.60239
COF 63 0.00000 -0.02009 0.03029 0.01082 0.07267 0.05405 0.68239
COF 85 0.00000 -0.02009 0.02873 0.00922 0.08081 0.06235 0.63931

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO