Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

SpamBase (10% of outliers version#10)

A data set representing emails classified as spam (outliers) or nonspam.

Download all data set variants used (25.4 MB). You can also access the original data. (spambase.data)

Normalized, without duplicates

This version contains 57 attributes, 2808 objects, 280 outliers (9.97%)

Download raw algorithm results (25.1 MB) Download raw algorithm evaluation table (69.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 3 0.28571 0.20660 0.22833 0.14286 0.33505 0.26140 0.75661
KNNW 10 0.28214 0.20263 0.22453 0.13864 0.33256 0.25864 0.74957
KNNW 11 0.28571 0.20660 0.22418 0.13825 0.33030 0.25612 0.74938
LOF 93 0.19286 0.10346 0.18536 0.09513 0.30673 0.22994 0.71109
LOF 99 0.20357 0.11536 0.18605 0.09590 0.30464 0.22762 0.71084
SimplifiedLOF 16 0.13929 0.04395 0.13380 0.03786 0.23471 0.14995 0.62903
SimplifiedLOF 48 0.08929 -0.01158 0.14541 0.05076 0.26146 0.17966 0.66718
SimplifiedLOF 71 0.09643 -0.00365 0.14554 0.05090 0.26657 0.18534 0.65838
SimplifiedLOF 100 0.12857 0.03205 0.15378 0.06005 0.26387 0.18233 0.66264
LoOP 99 0.17500 0.08362 0.17581 0.08452 0.28571 0.20660 0.69680
LoOP 100 0.17500 0.08362 0.17610 0.08485 0.28546 0.20632 0.69713
LDOF 3 0.15000 0.05585 0.11382 0.01567 0.18791 0.09797 0.53377
LDOF 99 0.14286 0.04792 0.16643 0.07411 0.26404 0.18252 0.67283
LDOF 100 0.14643 0.05189 0.16713 0.07488 0.26372 0.18217 0.67319
ODIN 98 0.20137 0.11292 0.16421 0.07163 0.27160 0.19093 0.66715
ODIN 100 0.20179 0.11338 0.16450 0.07196 0.27062 0.18983 0.66770
FastABOD 4 0.24286 0.15900 0.18863 0.09876 0.31179 0.23557 0.69620
FastABOD 50 0.25000 0.16693 0.19902 0.11031 0.30635 0.22952 0.69761
FastABOD 56 0.24643 0.16296 0.19938 0.11071 0.30831 0.23170 0.69744
FastABOD 71 0.25357 0.17090 0.19856 0.10980 0.30402 0.22693 0.69604
KDEOS 6 0.14286 0.04792 0.11749 0.01974 0.19126 0.10168 0.53995
KDEOS 24 0.12500 0.02809 0.11862 0.02100 0.19899 0.11027 0.56669
KDEOS 92 0.08929 -0.01158 0.10840 0.00964 0.21518 0.12826 0.55463
LDF 6 0.17500 0.08362 0.17000 0.07807 0.28617 0.20711 0.69890
LDF 70 0.19643 0.10743 0.16208 0.06927 0.23305 0.14811 0.63951
INFLO 80 0.20000 0.11139 0.18316 0.09269 0.29423 0.21606 0.70703
INFLO 99 0.18571 0.09552 0.18725 0.09723 0.30280 0.22558 0.71238
COF 39 0.13929 0.04395 0.15977 0.06671 0.27637 0.19622 0.69044
COF 41 0.13214 0.03602 0.16026 0.06725 0.27815 0.19819 0.68901
COF 43 0.12500 0.02809 0.15976 0.06670 0.27937 0.19955 0.68793
COF 98 0.20714 0.11933 0.15509 0.06151 0.23924 0.15498 0.64546

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 57 attributes, 3097 objects, 309 outliers (9.98%)

Download raw algorithm results (25.7 MB) Download raw algorithm evaluation table (75.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 6 0.23948 0.15519 0.19951 0.11079 0.30586 0.22893 0.73930
KNN 7 0.25243 0.16957 0.20086 0.11228 0.30000 0.22242 0.73602
KNNW 9 0.22977 0.14441 0.18663 0.09648 0.28270 0.20320 0.70823
KNNW 13 0.22330 0.13722 0.18939 0.09955 0.28007 0.20028 0.71567
KNNW 14 0.22654 0.14081 0.18892 0.09903 0.27850 0.19854 0.71569
KNNW 15 0.23948 0.15519 0.18845 0.09851 0.27705 0.19692 0.71531
LOF 3 0.16181 0.06891 0.12912 0.03260 0.21237 0.12508 0.56166
LOF 15 0.11650 0.01859 0.13362 0.03760 0.24539 0.16176 0.64608
LOF 20 0.09709 -0.00298 0.12929 0.03279 0.25113 0.16813 0.64126
SimplifiedLOF 1 0.15210 0.05813 0.11776 0.01998 0.18599 0.09578 0.53602
SimplifiedLOF 4 0.13916 0.04375 0.12271 0.02547 0.19936 0.11062 0.54488
SimplifiedLOF 39 0.06472 -0.03893 0.11657 0.01866 0.23407 0.14918 0.60627
SimplifiedLOF 50 0.04854 -0.05691 0.11634 0.01840 0.23125 0.14605 0.60752
LoOP 3 0.15534 0.06172 0.13174 0.03550 0.18833 0.09837 0.54650
LoOP 53 0.07767 -0.02455 0.12320 0.02603 0.23073 0.14548 0.62398
LoOP 69 0.08414 -0.01736 0.11941 0.02181 0.23529 0.15054 0.61317
LDOF 4 0.15534 0.06172 0.12952 0.03304 0.19615 0.10706 0.53560
LDOF 5 0.17152 0.07970 0.12118 0.02378 0.18304 0.09250 0.50591
LDOF 71 0.08091 -0.02096 0.11979 0.02223 0.22964 0.14426 0.61469
LDOF 73 0.08414 -0.01736 0.11963 0.02206 0.23042 0.14513 0.61367
ODIN 53 0.16641 0.07402 0.14399 0.04912 0.24350 0.15966 0.63864
ODIN 99 0.15534 0.06172 0.14853 0.05416 0.24711 0.16367 0.64422
FastABOD 80 0.16828 0.07610 0.13983 0.04450 0.23948 0.15519 0.61272
FastABOD 90 0.16828 0.07610 0.14030 0.04501 0.23822 0.15379 0.61283
FastABOD 96 0.17152 0.07970 0.14031 0.04503 0.23825 0.15382 0.61258
FastABOD 100 0.17152 0.07970 0.14048 0.04522 0.23843 0.15402 0.61276
KDEOS 23 0.15534 0.06172 0.11573 0.01773 0.19488 0.10565 0.54370
KDEOS 58 0.13592 0.04015 0.12478 0.02778 0.21876 0.13218 0.59606
KDEOS 69 0.11974 0.02218 0.12208 0.02477 0.23085 0.14560 0.59840
LDF 2 0.17476 0.08329 0.14548 0.05077 0.19938 0.11064 0.53673
LDF 7 0.17476 0.08329 0.16683 0.07449 0.26708 0.18585 0.69002
LDF 8 0.16181 0.06891 0.16053 0.06749 0.27337 0.19284 0.69105
INFLO 2 0.15534 0.06172 0.11778 0.02000 0.18671 0.09657 0.52798
INFLO 15 0.11650 0.01859 0.12567 0.02876 0.22817 0.14263 0.62002
INFLO 20 0.09385 -0.00658 0.12382 0.02671 0.23091 0.14567 0.62325
INFLO 48 0.06149 -0.04253 0.11794 0.02018 0.23505 0.15027 0.61193
COF 1 0.14887 0.05453 0.11941 0.02181 0.18910 0.09923 0.54466
COF 2 0.14239 0.04734 0.12126 0.02386 0.19516 0.10596 0.54685
COF 43 0.09385 -0.00658 0.11583 0.01783 0.22569 0.13988 0.58763

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 57 attributes, 2808 objects, 280 outliers (9.97%)

Download raw algorithm results (24.4 MB) Download raw algorithm evaluation table (68.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.37857 0.30974 0.36124 0.29049 0.38095 0.31239 0.78617
KNN 3 0.38214 0.31371 0.34883 0.27670 0.38790 0.32010 0.77188
KNNW 2 0.36786 0.29784 0.35631 0.28501 0.37012 0.30035 0.77249
KNNW 3 0.37143 0.30181 0.35597 0.28464 0.37729 0.30832 0.77536
KNNW 5 0.37857 0.30974 0.35253 0.28082 0.39373 0.32658 0.77349
KNNW 6 0.38571 0.31768 0.34931 0.27724 0.39367 0.32652 0.77256
LOF 76 0.21071 0.12329 0.19661 0.10762 0.26147 0.17967 0.67231
LOF 92 0.19643 0.10743 0.20177 0.11336 0.27315 0.19265 0.67423
LOF 100 0.18929 0.09949 0.20536 0.11735 0.27255 0.19198 0.67765
SimplifiedLOF 58 0.22500 0.13916 0.20150 0.11305 0.24647 0.16301 0.66611
SimplifiedLOF 95 0.21786 0.13123 0.21715 0.13044 0.26622 0.18495 0.67892
SimplifiedLOF 99 0.21786 0.13123 0.21957 0.13313 0.26331 0.18172 0.67985
LoOP 53 0.20357 0.11536 0.16949 0.07750 0.23478 0.15003 0.63546
LoOP 87 0.18571 0.09552 0.17812 0.08709 0.24679 0.16337 0.64556
LoOP 98 0.18571 0.09552 0.18149 0.09083 0.24442 0.16073 0.64806
LoOP 100 0.18571 0.09552 0.18419 0.09383 0.24467 0.16101 0.64589
LDOF 98 0.17143 0.07966 0.15330 0.05952 0.21323 0.12609 0.60027
LDOF 99 0.17500 0.08362 0.15359 0.05984 0.21451 0.12751 0.60011
LDOF 100 0.17143 0.07966 0.15370 0.05997 0.21429 0.12726 0.59997
ODIN 6 0.12607 0.02927 0.12574 0.02891 0.21144 0.12410 0.60177
ODIN 13 0.11903 0.02146 0.12517 0.02827 0.22963 0.14430 0.61723
ODIN 54 0.14286 0.04792 0.12426 0.02726 0.21135 0.12400 0.60369
FastABOD 5 0.33214 0.25817 0.32521 0.25047 0.34797 0.27575 0.77034
FastABOD 27 0.34286 0.27007 0.32604 0.25139 0.34904 0.27694 0.76285
FastABOD 30 0.34286 0.27007 0.32605 0.25140 0.35026 0.27830 0.76229
FastABOD 100 0.34286 0.27007 0.32737 0.25287 0.35026 0.27830 0.75921
KDEOS 79 0.16786 0.07569 0.14397 0.04916 0.24285 0.15899 0.64495
KDEOS 83 0.16071 0.06776 0.14422 0.04943 0.24409 0.16037 0.64667
KDEOS 97 0.15714 0.06379 0.14642 0.05188 0.24163 0.15763 0.65117
KDEOS 98 0.15714 0.06379 0.14627 0.05171 0.24055 0.15643 0.65144
LDF 79 0.31071 0.23437 0.28997 0.21133 0.32207 0.24698 0.72229
LDF 80 0.31071 0.23437 0.29351 0.21526 0.32064 0.24540 0.72192
LDF 97 0.31071 0.23437 0.28133 0.20173 0.32454 0.24973 0.72450
LDF 99 0.30714 0.23040 0.27881 0.19893 0.32794 0.25350 0.72359
INFLO 32 0.18571 0.09552 0.16831 0.07620 0.28254 0.20308 0.65240
INFLO 72 0.17500 0.08362 0.18729 0.09728 0.30850 0.23191 0.68156
INFLO 94 0.17857 0.08759 0.19464 0.10544 0.31550 0.23969 0.67659
INFLO 100 0.18571 0.09552 0.19542 0.10631 0.31250 0.23635 0.67343
COF 98 0.25714 0.17486 0.28709 0.20813 0.31265 0.23652 0.70401
COF 99 0.25714 0.17486 0.28834 0.20952 0.31010 0.23368 0.70372
COF 100 0.26429 0.18280 0.28828 0.20945 0.30887 0.23232 0.70364

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 57 attributes, 3097 objects, 309 outliers (9.98%)

Download raw algorithm results (25.3 MB) Download raw algorithm evaluation table (72.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 6 0.35922 0.28820 0.29173 0.21323 0.36424 0.29378 0.77208
KNN 7 0.35599 0.28461 0.29449 0.21629 0.35948 0.28849 0.77331
KNN 31 0.33010 0.25585 0.26585 0.18449 0.34731 0.27497 0.77471
KNNW 10 0.33333 0.25945 0.29123 0.21267 0.34945 0.27735 0.76352
KNNW 12 0.34628 0.27382 0.29111 0.21254 0.35407 0.28248 0.76611
KNNW 41 0.33333 0.25945 0.27173 0.19101 0.35536 0.28391 0.77343
KNNW 51 0.33333 0.25945 0.26812 0.18700 0.35015 0.27812 0.77386
LOF 90 0.15210 0.05813 0.14891 0.05458 0.23732 0.15280 0.63790
LOF 93 0.14887 0.05453 0.15120 0.05713 0.24578 0.16219 0.64081
LOF 100 0.14563 0.05094 0.15532 0.06171 0.24441 0.16067 0.65119
SimplifiedLOF 1 0.16505 0.07251 0.11488 0.01678 0.18400 0.09357 0.52027
SimplifiedLOF 93 0.14563 0.05094 0.12897 0.03243 0.22642 0.14068 0.60407
SimplifiedLOF 100 0.14563 0.05094 0.13316 0.03708 0.22499 0.13909 0.60922
LoOP 2 0.13592 0.04015 0.13163 0.03538 0.19867 0.10985 0.52928
LoOP 3 0.14887 0.05453 0.12530 0.02836 0.18576 0.09551 0.53586
LoOP 99 0.13592 0.04015 0.12555 0.02863 0.21593 0.12903 0.58108
LoOP 100 0.13592 0.04015 0.12620 0.02935 0.21520 0.12822 0.58165
LDOF 2 0.14239 0.04734 0.11381 0.01559 0.18144 0.09072 0.47017
LDOF 94 0.12621 0.02937 0.10470 0.00547 0.19493 0.10570 0.52242
LDOF 100 0.13269 0.03656 0.10629 0.00724 0.19343 0.10404 0.52468
ODIN 1 0.11413 0.01594 0.11199 0.01357 0.19647 0.10742 0.55808
ODIN 10 0.10197 0.00244 0.11337 0.01510 0.22335 0.13727 0.58345
ODIN 13 0.09372 -0.00673 0.11378 0.01556 0.21979 0.13332 0.58524
FastABOD 75 0.27508 0.19474 0.26148 0.17963 0.32687 0.25227 0.74946
FastABOD 95 0.27508 0.19474 0.26197 0.18018 0.32751 0.25297 0.74963
FastABOD 100 0.27508 0.19474 0.26206 0.18028 0.32781 0.25331 0.74938
KDEOS 3 0.12621 0.02937 0.10619 0.00712 0.18210 0.09145 0.50025
KDEOS 94 0.10356 0.00421 0.12117 0.02377 0.21834 0.13170 0.59363
KDEOS 100 0.10680 0.00780 0.12369 0.02656 0.21729 0.13054 0.59754
LDF 78 0.26861 0.18755 0.21540 0.12844 0.28197 0.20239 0.69232
LDF 96 0.26537 0.18395 0.23395 0.14904 0.30412 0.22700 0.71844
LDF 99 0.26537 0.18395 0.23509 0.15032 0.30116 0.22370 0.72161
INFLO 94 0.13916 0.04375 0.14438 0.04955 0.29919 0.22152 0.63490
INFLO 99 0.14239 0.04734 0.14472 0.04993 0.29666 0.21871 0.63381
INFLO 100 0.14239 0.04734 0.14547 0.05076 0.29763 0.21979 0.63597
COF 41 0.16505 0.07251 0.12511 0.02815 0.20527 0.11719 0.57333
COF 98 0.15210 0.05813 0.15760 0.06424 0.23906 0.15472 0.63234
COF 99 0.14887 0.05453 0.16209 0.06923 0.23756 0.15306 0.63503
COF 100 0.15210 0.05813 0.16282 0.07003 0.23683 0.15224 0.63421

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO