Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Stamps (5% of outliers version#08)

A data set representing forged (photocopied or scanned+printed) stamps and genuine (ink) stamps. The features are based on color and printing properties of the stamps. Forged stamps are considered to be outliers. The stamps data set is not taken from the UCI repository, but was used in [1].

References:

[1] B. Micenkova, J. van Beusekom, and F. Shafait. Stamp verification for automated document authentication. In 5th Int. Workshop on Computational Forensics, 2012.

Download all data set variants used (371.2 kB).

Normalized, without duplicates

This version contains 9 attributes, 325 objects, 16 outliers (4.92%)

Download raw algorithm results (2.8 MB) Download raw algorithm evaluation table (48.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.18750 0.14543 0.21173 0.17091 0.30137 0.26519 0.86944
KNN 4 0.18750 0.14543 0.26636 0.22837 0.43750 0.40837 0.92233
KNN 5 0.18750 0.14543 0.26201 0.22380 0.46154 0.43366 0.92294
KNN 12 0.18750 0.14543 0.25714 0.21867 0.46875 0.44124 0.91970
KNNW 1 0.18750 0.14543 0.22931 0.18940 0.34043 0.30627 0.86924
KNNW 8 0.18750 0.14543 0.25522 0.21666 0.42105 0.39107 0.91828
KNNW 14 0.12500 0.07969 0.25292 0.21424 0.44776 0.41917 0.91849
KNNW 23 0.12500 0.07969 0.25236 0.21365 0.46154 0.43366 0.91849
LOF 1 0.18750 0.14543 0.13494 0.09014 0.20000 0.15858 0.55067
LOF 19 0.12500 0.07969 0.20980 0.16889 0.31169 0.27605 0.85538
LOF 100 0.12500 0.07969 0.22399 0.18381 0.29787 0.26152 0.85801
SimplifiedLOF 2 0.12500 0.07969 0.07955 0.03188 0.13333 0.08846 0.55744
SimplifiedLOF 26 0.12500 0.07969 0.18961 0.14765 0.25926 0.22090 0.82322
SimplifiedLOF 35 0.12500 0.07969 0.19451 0.15280 0.25882 0.22045 0.82807
LoOP 2 0.12500 0.07969 0.07660 0.02879 0.14286 0.09847 0.55057
LoOP 41 0.12500 0.07969 0.19239 0.15057 0.24390 0.20475 0.82282
LoOP 46 0.12500 0.07969 0.18860 0.14659 0.25581 0.21728 0.81270
LDOF 6 0.12500 0.07969 0.07608 0.02824 0.13433 0.08950 0.51679
LDOF 50 0.12500 0.07969 0.19354 0.15178 0.27350 0.23589 0.83697
ODIN 18 0.14583 0.10160 0.12459 0.07926 0.21053 0.16965 0.75071
ODIN 34 0.12500 0.07969 0.16812 0.12505 0.25000 0.21117 0.82443
ODIN 55 0.12500 0.07969 0.19404 0.15230 0.26866 0.23079 0.80613
ODIN 57 0.12500 0.07969 0.20020 0.15878 0.25714 0.21868 0.80269
FastABOD 4 0.25000 0.21117 0.19033 0.14840 0.30769 0.27184 0.84041
FastABOD 15 0.18750 0.14543 0.25007 0.21124 0.31111 0.27544 0.87925
FastABOD 80 0.18750 0.14543 0.23563 0.19605 0.35616 0.32283 0.89907
FastABOD 86 0.18750 0.14543 0.23367 0.19399 0.36111 0.32803 0.89846
KDEOS 46 0.12500 0.07969 0.10679 0.06054 0.19549 0.15383 0.76416
KDEOS 83 0.06250 0.01396 0.13645 0.09173 0.27660 0.23914 0.81290
KDEOS 85 0.06250 0.01396 0.15097 0.10701 0.26804 0.23014 0.81129
LDF 2 0.18750 0.14543 0.11057 0.06451 0.24390 0.20475 0.53560
LDF 88 0.12500 0.07969 0.27348 0.23586 0.41176 0.38131 0.90413
LDF 98 0.12500 0.07969 0.25003 0.21120 0.42424 0.39443 0.90939
LDF 100 0.12500 0.07969 0.25251 0.21380 0.41176 0.38131 0.91080
INFLO 1 0.18750 0.14543 0.11304 0.06711 0.20690 0.16583 0.54379
INFLO 25 0.12500 0.07969 0.17697 0.13436 0.22556 0.18546 0.79369
INFLO 98 0.12500 0.07969 0.18640 0.14427 0.26230 0.22410 0.75222
INFLO 100 0.12500 0.07969 0.18851 0.14649 0.25806 0.21965 0.75496
COF 25 0.25000 0.21117 0.27833 0.24096 0.43636 0.40718 0.89887
COF 26 0.18750 0.14543 0.27329 0.23566 0.46667 0.43905 0.89624
COF 28 0.18750 0.14543 0.28327 0.24615 0.43750 0.40837 0.89502
COF 31 0.31250 0.27690 0.28227 0.24511 0.40625 0.37551 0.88046

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 9 attributes, 325 objects, 16 outliers (4.92%)

Download raw algorithm results (2.8 MB) Download raw algorithm evaluation table (47.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.18750 0.14543 0.20575 0.16463 0.31111 0.27544 0.85821
KNN 13 0.18750 0.14543 0.26168 0.22345 0.46154 0.43366 0.92213
KNN 14 0.18750 0.14543 0.26032 0.22202 0.48387 0.45715 0.92091
KNNW 1 0.18750 0.14543 0.22754 0.18754 0.34783 0.31406 0.86822
KNNW 23 0.12500 0.07969 0.25265 0.21395 0.45455 0.42630 0.91889
KNNW 69 0.12500 0.07969 0.25467 0.21607 0.43750 0.40837 0.91990
KNNW 87 0.12500 0.07969 0.25502 0.21645 0.43750 0.40837 0.91990
LOF 1 0.18750 0.14543 0.14582 0.10159 0.20690 0.16583 0.55249
LOF 97 0.12500 0.07969 0.23879 0.19938 0.34667 0.31284 0.87318
LOF 99 0.12500 0.07969 0.24025 0.20091 0.34211 0.30804 0.87480
SimplifiedLOF 2 0.12500 0.07969 0.13459 0.08978 0.15000 0.10599 0.57706
SimplifiedLOF 32 0.12500 0.07969 0.19176 0.14991 0.24590 0.20685 0.82383
SimplifiedLOF 38 0.12500 0.07969 0.18897 0.14697 0.26506 0.22701 0.81695
SimplifiedLOF 98 0.12500 0.07969 0.20150 0.16016 0.25806 0.21965 0.81169
LoOP 2 0.12500 0.07969 0.13522 0.09044 0.16000 0.11650 0.57261
LoOP 42 0.12500 0.07969 0.18732 0.14524 0.24444 0.20532 0.81149
LoOP 82 0.12500 0.07969 0.18640 0.14428 0.25806 0.21965 0.79996
LoOP 98 0.12500 0.07969 0.19392 0.15218 0.25806 0.21965 0.80967
LDOF 5 0.12500 0.07969 0.09178 0.04475 0.14286 0.09847 0.50546
LDOF 42 0.12500 0.07969 0.18719 0.14511 0.26966 0.23185 0.82282
LDOF 46 0.12500 0.07969 0.18811 0.14607 0.25287 0.21419 0.82524
LDOF 93 0.12500 0.07969 0.18957 0.14761 0.24742 0.20845 0.81169
ODIN 17 0.14583 0.10160 0.11516 0.06934 0.19753 0.15598 0.72249
ODIN 34 0.12500 0.07969 0.16012 0.11663 0.25641 0.21791 0.81351
ODIN 58 0.12500 0.07969 0.20443 0.16323 0.27692 0.23948 0.80977
ODIN 59 0.12500 0.07969 0.20278 0.16150 0.28125 0.24403 0.80552
FastABOD 4 0.25000 0.21117 0.18998 0.14804 0.26866 0.23079 0.83677
FastABOD 91 0.25000 0.21117 0.22955 0.18966 0.35165 0.31808 0.89482
FastABOD 97 0.25000 0.21117 0.23145 0.19165 0.35165 0.31808 0.89563
KDEOS 39 0.12500 0.07969 0.09594 0.04913 0.17910 0.13660 0.73261
KDEOS 90 0.06250 0.01396 0.14579 0.10156 0.24176 0.20250 0.80340
KDEOS 93 0.06250 0.01396 0.13003 0.08498 0.25000 0.21117 0.79470
LDF 2 0.18750 0.14543 0.11687 0.07115 0.22857 0.18863 0.53459
LDF 90 0.12500 0.07969 0.29101 0.25430 0.44444 0.41568 0.91545
LDF 98 0.12500 0.07969 0.26621 0.22821 0.45161 0.42322 0.91869
LDF 100 0.12500 0.07969 0.26742 0.22949 0.45161 0.42322 0.91930
INFLO 1 0.18750 0.14543 0.15065 0.10667 0.21622 0.17563 0.55522
INFLO 29 0.12500 0.07969 0.17745 0.13486 0.22989 0.19001 0.78782
INFLO 98 0.12500 0.07969 0.18642 0.14430 0.27119 0.23345 0.72896
INFLO 100 0.12500 0.07969 0.19349 0.15173 0.27119 0.23345 0.76284
COF 26 0.18750 0.14543 0.27584 0.23834 0.36585 0.33302 0.87217
COF 28 0.25000 0.21117 0.25945 0.22111 0.38095 0.34890 0.88127
COF 42 0.37500 0.34264 0.26684 0.22887 0.40000 0.36893 0.84648
COF 51 0.37500 0.34264 0.25618 0.21767 0.43243 0.40304 0.82646

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO