Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

SpamBase (10% of outliers version#09)

A data set representing emails classified as spam (outliers) or nonspam.

Download all data set variants used (25.4 MB). You can also access the original data. (spambase.data)

Normalized, without duplicates

This version contains 57 attributes, 2808 objects, 280 outliers (9.97%)

Download raw algorithm results (25.1 MB) Download raw algorithm evaluation table (70.5 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.24643 0.16296 0.20320 0.11494 0.31042 0.23404 0.72028
KNN 3 0.24643 0.16296 0.20336 0.11512 0.30534 0.22840 0.72838
KNN 4 0.25000 0.16693 0.20585 0.11789 0.30259 0.22535 0.72627
KNNW 8 0.23929 0.15503 0.19664 0.10766 0.29615 0.21819 0.71445
KNNW 9 0.23929 0.15503 0.19733 0.10843 0.29478 0.21667 0.71509
KNNW 10 0.24643 0.16296 0.19721 0.10830 0.29465 0.21653 0.71500
LOF 83 0.17143 0.07966 0.17239 0.08072 0.27653 0.19640 0.67622
LOF 86 0.17143 0.07966 0.17240 0.08074 0.27624 0.19608 0.67710
LOF 89 0.17500 0.08362 0.17193 0.08021 0.27563 0.19540 0.67717
LOF 100 0.18571 0.09552 0.17095 0.07913 0.27625 0.19609 0.67605
SimplifiedLOF 35 0.06786 -0.03539 0.12851 0.03198 0.24187 0.15790 0.63438
SimplifiedLOF 42 0.06429 -0.03935 0.12900 0.03252 0.24832 0.16506 0.63255
SimplifiedLOF 99 0.13571 0.03999 0.14358 0.04872 0.22686 0.14123 0.61658
SimplifiedLOF 100 0.13571 0.03999 0.14407 0.04926 0.22846 0.14300 0.61791
LoOP 94 0.15357 0.05982 0.16044 0.06745 0.25610 0.17370 0.65482
LoOP 99 0.16429 0.07172 0.16181 0.06897 0.25564 0.17319 0.65721
LoOP 100 0.16071 0.06776 0.16210 0.06930 0.25546 0.17299 0.65818
LDOF 57 0.10357 0.00428 0.13135 0.03514 0.24047 0.15634 0.63817
LDOF 60 0.09643 -0.00365 0.13239 0.03630 0.24545 0.16188 0.63777
LDOF 100 0.13571 0.03999 0.15121 0.05719 0.23549 0.15082 0.63570
ODIN 89 0.17154 0.07978 0.15152 0.05754 0.25748 0.17524 0.64304
ODIN 95 0.18036 0.08957 0.15229 0.05840 0.25614 0.17375 0.64403
ODIN 100 0.17755 0.08646 0.15278 0.05894 0.25520 0.17271 0.64473
FastABOD 3 0.19286 0.10346 0.15581 0.06231 0.25767 0.17545 0.64358
FastABOD 33 0.21786 0.13123 0.15958 0.06650 0.24740 0.16405 0.64112
FastABOD 100 0.20357 0.11536 0.16590 0.07352 0.24721 0.16383 0.64561
KDEOS 6 0.14286 0.04792 0.10852 0.00978 0.18510 0.09484 0.51230
KDEOS 21 0.11786 0.02015 0.11677 0.01894 0.20071 0.11219 0.56222
KDEOS 41 0.10714 0.00825 0.11461 0.01654 0.21255 0.12533 0.58179
KDEOS 76 0.04643 -0.05919 0.10447 0.00529 0.21464 0.12766 0.56212
LDF 6 0.10000 0.00032 0.13802 0.04255 0.26667 0.18544 0.66135
LDF 7 0.11786 0.02015 0.14630 0.05174 0.26560 0.18425 0.67054
LDF 72 0.17143 0.07966 0.14140 0.04630 0.22581 0.14006 0.62800
INFLO 79 0.18214 0.09156 0.17235 0.08068 0.27385 0.19342 0.67892
INFLO 86 0.16429 0.07172 0.17323 0.08166 0.27263 0.19206 0.67984
INFLO 95 0.16786 0.07569 0.17257 0.08093 0.27329 0.19280 0.68041
INFLO 98 0.17143 0.07966 0.17248 0.08083 0.27517 0.19489 0.67977
COF 37 0.12143 0.02412 0.13579 0.04007 0.24774 0.16442 0.64354
COF 43 0.11071 0.01222 0.13536 0.03959 0.25497 0.17245 0.64211
COF 96 0.17500 0.08362 0.15923 0.06611 0.24306 0.15922 0.63050
COF 99 0.18929 0.09949 0.15881 0.06564 0.23553 0.15086 0.63094

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 57 attributes, 3097 objects, 309 outliers (9.98%)

Download raw algorithm results (25.7 MB) Download raw algorithm evaluation table (74.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.24595 0.16238 0.19248 0.10298 0.30419 0.22707 0.69387
KNN 2 0.23625 0.15160 0.20202 0.11358 0.31474 0.23879 0.73180
KNN 5 0.23948 0.15519 0.20018 0.11154 0.30769 0.23096 0.73215
KNNW 1 0.24595 0.16238 0.18000 0.08912 0.29505 0.21691 0.65782
KNNW 3 0.22330 0.13722 0.19102 0.10136 0.30946 0.23292 0.70251
KNNW 9 0.23625 0.15160 0.19837 0.10953 0.30195 0.22458 0.72654
KNNW 10 0.23625 0.15160 0.19849 0.10966 0.30252 0.22522 0.72627
LOF 12 0.13592 0.04015 0.14393 0.04905 0.26038 0.17841 0.67271
LOF 15 0.11974 0.02218 0.14400 0.04913 0.26709 0.18586 0.67841
LOF 18 0.11327 0.01499 0.14374 0.04883 0.26508 0.18362 0.67928
LOF 34 0.09385 -0.00658 0.13915 0.04374 0.27512 0.19478 0.67081
SimplifiedLOF 1 0.12621 0.02937 0.10660 0.00758 0.18209 0.09143 0.52031
SimplifiedLOF 36 0.09709 -0.00298 0.13029 0.03390 0.25638 0.17396 0.64787
SimplifiedLOF 42 0.09061 -0.01017 0.12955 0.03307 0.25741 0.17511 0.64742
LoOP 1 0.14239 0.04734 0.11072 0.01216 0.18144 0.09072 0.52416
LoOP 25 0.12945 0.03296 0.13993 0.04461 0.24264 0.15870 0.64854
LoOP 50 0.11003 0.01140 0.13795 0.04241 0.25540 0.17287 0.66047
LoOP 59 0.11003 0.01140 0.13652 0.04081 0.25935 0.17726 0.65748
LDOF 6 0.12945 0.03296 0.10573 0.00662 0.18582 0.09558 0.51417
LDOF 58 0.11974 0.02218 0.13683 0.04116 0.24868 0.16541 0.65463
LDOF 73 0.11974 0.02218 0.13557 0.03977 0.25190 0.16898 0.65395
LDOF 79 0.12621 0.02937 0.13728 0.04166 0.25014 0.16703 0.65460
ODIN 46 0.15239 0.05845 0.14137 0.04620 0.24283 0.15891 0.64000
ODIN 99 0.13941 0.04403 0.14868 0.05433 0.25862 0.17645 0.64946
ODIN 100 0.14005 0.04474 0.14888 0.05454 0.25829 0.17609 0.64966
FastABOD 22 0.14563 0.05094 0.14309 0.04812 0.25556 0.17306 0.64131
FastABOD 38 0.13916 0.04375 0.14334 0.04840 0.25746 0.17516 0.64142
FastABOD 70 0.13916 0.04375 0.14859 0.05423 0.25299 0.17020 0.64411
FastABOD 100 0.13916 0.04375 0.14966 0.05541 0.25323 0.17046 0.64410
KDEOS 18 0.14239 0.04734 0.11390 0.01569 0.19826 0.10940 0.55578
KDEOS 25 0.12298 0.02578 0.11607 0.01810 0.20068 0.11209 0.55424
KDEOS 64 0.07120 -0.03174 0.11344 0.01518 0.22421 0.13822 0.58965
KDEOS 69 0.07767 -0.02455 0.11462 0.01649 0.22306 0.13695 0.59262
LDF 6 0.17476 0.08329 0.17165 0.07984 0.29558 0.21751 0.72209
INFLO 12 0.13592 0.04015 0.13523 0.03938 0.23810 0.15365 0.63851
INFLO 19 0.12298 0.02578 0.13857 0.04310 0.24658 0.16307 0.65789
INFLO 48 0.10356 0.00421 0.13224 0.03606 0.26275 0.18104 0.65423
COF 30 0.13916 0.04375 0.14846 0.05408 0.27005 0.18915 0.66936
COF 31 0.13269 0.03656 0.14998 0.05577 0.27627 0.19606 0.67416
COF 37 0.13916 0.04375 0.14839 0.05401 0.27668 0.19651 0.67520
COF 38 0.13916 0.04375 0.14737 0.05287 0.27808 0.19807 0.67121

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 57 attributes, 2808 objects, 280 outliers (9.97%)

Download raw algorithm results (24.4 MB) Download raw algorithm evaluation table (68.2 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.29643 0.21850 0.29409 0.21590 0.32375 0.24885 0.73820
KNN 5 0.31429 0.23834 0.29291 0.21459 0.32615 0.25151 0.74196
KNN 7 0.31429 0.23834 0.29094 0.21240 0.32641 0.25180 0.74202
KNN 41 0.28929 0.21057 0.25392 0.17128 0.32762 0.25315 0.73607
KNNW 8 0.31071 0.23437 0.29436 0.21621 0.32340 0.24846 0.74034
KNNW 9 0.31786 0.24230 0.29391 0.21571 0.32310 0.24812 0.74102
KNNW 12 0.31429 0.23834 0.29397 0.21578 0.32727 0.25276 0.74184
LOF 98 0.18214 0.09156 0.17854 0.08755 0.25820 0.17603 0.64062
LOF 99 0.18571 0.09552 0.17883 0.08788 0.25820 0.17603 0.64090
LOF 100 0.18214 0.09156 0.17887 0.08792 0.25793 0.17574 0.64161
SimplifiedLOF 17 0.18571 0.09552 0.13248 0.03640 0.19420 0.10494 0.55625
SimplifiedLOF 84 0.18214 0.09156 0.17705 0.08590 0.23529 0.15060 0.62090
SimplifiedLOF 100 0.17857 0.08759 0.18401 0.09363 0.23328 0.14836 0.62711
LoOP 24 0.16786 0.07569 0.12116 0.02382 0.19325 0.10390 0.55341
LoOP 85 0.15357 0.05982 0.14869 0.05440 0.21957 0.13313 0.59489
LoOP 96 0.15714 0.06379 0.15145 0.05746 0.21767 0.13102 0.59865
LoOP 98 0.16429 0.07172 0.15269 0.05885 0.21937 0.13291 0.59826
LDOF 67 0.14286 0.04792 0.11964 0.02213 0.19005 0.10034 0.52573
LDOF 92 0.13929 0.04395 0.12485 0.02791 0.19401 0.10474 0.53722
LDOF 100 0.13214 0.03602 0.12611 0.02932 0.19171 0.10218 0.53972
ODIN 33 0.08267 -0.01893 0.10793 0.00913 0.21089 0.12349 0.55895
ODIN 49 0.11897 0.02139 0.11156 0.01316 0.20630 0.11839 0.56875
ODIN 99 0.10357 0.00428 0.11689 0.01908 0.20366 0.11546 0.57590
FastABOD 3 0.28571 0.20660 0.26937 0.18845 0.30108 0.22366 0.73754
FastABOD 13 0.27500 0.19470 0.26427 0.18278 0.31389 0.23790 0.74194
FastABOD 27 0.28214 0.20263 0.26313 0.18152 0.31794 0.24239 0.74149
KDEOS 3 0.14286 0.04792 0.10567 0.00662 0.18158 0.09093 0.46822
KDEOS 92 0.11429 0.01618 0.12537 0.02850 0.22713 0.14152 0.59995
KDEOS 94 0.11429 0.01618 0.12614 0.02935 0.22410 0.13817 0.60002
KDEOS 96 0.11786 0.02015 0.12565 0.02881 0.22340 0.13738 0.60012
LDF 60 0.28214 0.20263 0.22909 0.14370 0.28975 0.21109 0.67859
LDF 77 0.26786 0.18677 0.26534 0.18397 0.31083 0.23450 0.70048
LDF 96 0.27857 0.19867 0.25413 0.17152 0.31732 0.24171 0.71391
LDF 100 0.27857 0.19867 0.25464 0.17209 0.31433 0.23838 0.71642
INFLO 91 0.17143 0.07966 0.17064 0.07879 0.30707 0.23032 0.66168
INFLO 98 0.18214 0.09156 0.17014 0.07823 0.30253 0.22528 0.65070
COF 100 0.21786 0.13123 0.24162 0.15762 0.25946 0.17744 0.66780

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 57 attributes, 3097 objects, 309 outliers (9.98%)

Download raw algorithm results (25.4 MB) Download raw algorithm evaluation table (72.2 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.32362 0.24866 0.31451 0.23853 0.34242 0.26954 0.76481
KNN 5 0.34951 0.27742 0.30853 0.23189 0.35846 0.28736 0.76215
KNNW 6 0.33657 0.26304 0.31432 0.23833 0.35569 0.28427 0.76508
KNNW 7 0.34628 0.27382 0.31298 0.23683 0.36000 0.28907 0.76446
KNNW 8 0.34304 0.27023 0.31247 0.23627 0.36335 0.29279 0.76388
LOF 83 0.15210 0.05813 0.14122 0.04604 0.21467 0.12763 0.59859
LOF 100 0.14239 0.04734 0.15407 0.06031 0.22357 0.13752 0.61706
SimplifiedLOF 1 0.16505 0.07251 0.12181 0.02447 0.18793 0.09793 0.54165
SimplifiedLOF 17 0.10680 0.00780 0.11929 0.02168 0.22267 0.13652 0.59344
SimplifiedLOF 18 0.10032 0.00061 0.11939 0.02179 0.21950 0.13299 0.59356
SimplifiedLOF 100 0.14239 0.04734 0.13410 0.03813 0.20886 0.12118 0.59070
LoOP 1 0.14887 0.05453 0.13013 0.03372 0.18192 0.09125 0.53850
LoOP 14 0.09709 -0.00298 0.11367 0.01544 0.21563 0.12869 0.57941
LDOF 2 0.14239 0.04734 0.12642 0.02959 0.19118 0.10153 0.50026
LDOF 4 0.14887 0.05453 0.12044 0.02296 0.19818 0.10932 0.50424
LDOF 100 0.11974 0.02218 0.10875 0.00997 0.19309 0.10366 0.53490
ODIN 3 0.12912 0.03260 0.11814 0.02040 0.20735 0.11949 0.57997
ODIN 4 0.12883 0.03227 0.12095 0.02352 0.20957 0.12196 0.59097
ODIN 9 0.09852 -0.00139 0.11693 0.01906 0.21798 0.13131 0.59513
ODIN 12 0.09167 -0.00900 0.11543 0.01739 0.21983 0.13336 0.59210
FastABOD 24 0.31068 0.23428 0.26577 0.18440 0.33563 0.26199 0.76323
FastABOD 96 0.31068 0.23428 0.28576 0.20660 0.34068 0.26760 0.76430
FastABOD 100 0.31068 0.23428 0.28589 0.20674 0.34068 0.26760 0.76434
KDEOS 3 0.13592 0.04015 0.11402 0.01582 0.19221 0.10268 0.52944
KDEOS 94 0.11327 0.01499 0.12241 0.02514 0.23050 0.14522 0.60234
KDEOS 100 0.10032 0.00061 0.12376 0.02665 0.22648 0.14075 0.60324
LDF 76 0.25566 0.17317 0.22086 0.13450 0.28846 0.20960 0.65870
LDF 84 0.26537 0.18395 0.23600 0.15132 0.28044 0.20069 0.66804
LDF 91 0.27184 0.19114 0.22987 0.14452 0.28330 0.20386 0.67559
LDF 100 0.27184 0.19114 0.23146 0.14628 0.28471 0.20543 0.68950
INFLO 95 0.14563 0.05094 0.13946 0.04408 0.27144 0.19069 0.58502
INFLO 98 0.14563 0.05094 0.14338 0.04844 0.28129 0.20163 0.60366
INFLO 100 0.14239 0.04734 0.14407 0.04920 0.28323 0.20379 0.60341
COF 59 0.17476 0.08329 0.12972 0.03326 0.21916 0.13261 0.59540
COF 96 0.16828 0.07610 0.15311 0.05925 0.22477 0.13885 0.61965
COF 100 0.16505 0.07251 0.16118 0.06822 0.22292 0.13679 0.61993

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO