Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Stamps (5% of outliers version#06)

A data set representing forged (photocopied or scanned+printed) stamps and genuine (ink) stamps. The features are based on color and printing properties of the stamps. Forged stamps are considered to be outliers. The stamps data set is not taken from the UCI repository, but was used in [1].

References:

[1] B. Micenkova, J. van Beusekom, and F. Shafait. Stamp verification for automated document authentication. In 5th Int. Workshop on Computational Forensics, 2012.

Download all data set variants used (371.2 kB).

Normalized, without duplicates

This version contains 9 attributes, 325 objects, 16 outliers (4.92%)

Download raw algorithm results (2.8 MB) Download raw algorithm evaluation table (48.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.25000 0.21117 0.18032 0.13788 0.30000 0.26375 0.77387
KNN 4 0.18750 0.14543 0.27181 0.23411 0.46154 0.43366 0.92354
KNN 7 0.18750 0.14543 0.26897 0.23112 0.48387 0.45715 0.92577
KNNW 1 0.25000 0.21117 0.15708 0.11343 0.26087 0.22260 0.68689
KNNW 27 0.18750 0.14543 0.25652 0.21802 0.46667 0.43905 0.91930
KNNW 46 0.18750 0.14543 0.25489 0.21630 0.45070 0.42226 0.91990
LOF 1 0.18750 0.14543 0.15099 0.10703 0.20690 0.16583 0.56735
LOF 14 0.12500 0.07969 0.21844 0.17798 0.34091 0.30678 0.86711
LOF 100 0.12500 0.07969 0.23803 0.19857 0.33898 0.30476 0.87298
SimplifiedLOF 2 0.18750 0.14543 0.08502 0.03764 0.18750 0.14543 0.55663
SimplifiedLOF 26 0.12500 0.07969 0.19607 0.15444 0.30000 0.26375 0.83293
SimplifiedLOF 40 0.12500 0.07969 0.20530 0.16415 0.27907 0.24174 0.84567
SimplifiedLOF 100 0.12500 0.07969 0.20627 0.16517 0.29268 0.25606 0.83515
LoOP 2 0.18750 0.14543 0.08660 0.03931 0.19355 0.15179 0.54167
LoOP 40 0.12500 0.07969 0.20463 0.16344 0.27586 0.23837 0.84284
LoOP 83 0.12500 0.07969 0.19977 0.15833 0.30000 0.26375 0.82909
LoOP 100 0.12500 0.07969 0.20834 0.16735 0.30000 0.26375 0.83576
LDOF 7 0.18750 0.14543 0.08938 0.04223 0.19355 0.15179 0.53904
LDOF 46 0.12500 0.07969 0.20203 0.16071 0.28829 0.25144 0.84527
LDOF 99 0.12500 0.07969 0.19936 0.15791 0.30769 0.27184 0.82828
ODIN 21 0.25000 0.21117 0.16154 0.11812 0.25000 0.21117 0.80694
ODIN 32 0.17188 0.12899 0.18990 0.14795 0.30303 0.26694 0.85073
ODIN 41 0.12500 0.07969 0.22031 0.17994 0.33333 0.29881 0.84648
ODIN 58 0.12500 0.07969 0.22400 0.18382 0.33333 0.29881 0.84244
FastABOD 4 0.25000 0.21117 0.17900 0.13649 0.27586 0.23837 0.78701
FastABOD 12 0.25000 0.21117 0.17541 0.13271 0.30303 0.26694 0.77994
FastABOD 14 0.25000 0.21117 0.20794 0.16693 0.29412 0.25757 0.78479
FastABOD 99 0.18750 0.14543 0.18109 0.13869 0.27273 0.23507 0.82484
KDEOS 33 0.18750 0.14543 0.09069 0.04360 0.18750 0.14543 0.68871
KDEOS 85 0.12500 0.07969 0.19416 0.15243 0.28866 0.25183 0.81715
KDEOS 91 0.12500 0.07969 0.15071 0.10673 0.29787 0.26152 0.82079
KDEOS 92 0.12500 0.07969 0.15259 0.10871 0.28571 0.24873 0.82140
LDF 2 0.25000 0.21117 0.14803 0.10392 0.27273 0.23507 0.63370
LDF 13 0.12500 0.07969 0.25175 0.21301 0.43077 0.40129 0.88754
LDF 84 0.12500 0.07969 0.27362 0.23601 0.38806 0.35637 0.90332
LDF 100 0.12500 0.07969 0.24850 0.20958 0.40625 0.37551 0.90554
INFLO 2 0.18750 0.14543 0.09807 0.05137 0.23077 0.19094 0.53621
INFLO 26 0.12500 0.07969 0.18825 0.14622 0.24000 0.20065 0.80967
INFLO 97 0.12500 0.07969 0.20791 0.16689 0.30769 0.27184 0.79915
INFLO 100 0.12500 0.07969 0.20937 0.16843 0.30769 0.27184 0.80097
COF 12 0.31250 0.27690 0.23139 0.19159 0.32727 0.29244 0.80320
COF 13 0.25000 0.21117 0.23525 0.19565 0.33333 0.29881 0.82565
COF 27 0.18750 0.14543 0.22997 0.19010 0.33333 0.29881 0.88046
COF 57 0.25000 0.21117 0.21276 0.17200 0.40000 0.36893 0.82727

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 9 attributes, 325 objects, 16 outliers (4.92%)

Download raw algorithm results (2.8 MB) Download raw algorithm evaluation table (47.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.25000 0.21117 0.17814 0.13558 0.29787 0.26152 0.77549
KNN 7 0.12500 0.07969 0.26511 0.22706 0.49123 0.46488 0.92496
KNNW 1 0.25000 0.21117 0.15786 0.11425 0.26667 0.22869 0.68649
KNNW 49 0.18750 0.14543 0.25752 0.21907 0.47761 0.45056 0.92152
KNNW 71 0.18750 0.14543 0.26005 0.22174 0.45714 0.42903 0.92253
KNNW 72 0.18750 0.14543 0.26018 0.22187 0.45070 0.42226 0.92253
LOF 1 0.18750 0.14543 0.15850 0.11493 0.21429 0.17360 0.56938
LOF 98 0.12500 0.07969 0.25213 0.21340 0.35088 0.31727 0.88693
LOF 99 0.12500 0.07969 0.25204 0.21331 0.35714 0.32386 0.88653
SimplifiedLOF 2 0.18750 0.14543 0.13813 0.09350 0.19355 0.15179 0.55947
SimplifiedLOF 99 0.12500 0.07969 0.22227 0.18200 0.32432 0.28934 0.84506
LoOP 2 0.18750 0.14543 0.13916 0.09459 0.19355 0.15179 0.52811
LoOP 98 0.12500 0.07969 0.21473 0.17407 0.31884 0.28357 0.84365
LoOP 99 0.12500 0.07969 0.21464 0.17397 0.32000 0.28479 0.84365
LDOF 5 0.25000 0.21117 0.12992 0.08486 0.25806 0.21965 0.54511
LDOF 94 0.12500 0.07969 0.20124 0.15988 0.31169 0.27605 0.83151
LDOF 96 0.12500 0.07969 0.20159 0.16025 0.31169 0.27605 0.83354
ODIN 21 0.25000 0.21117 0.16192 0.11852 0.25000 0.21117 0.80148
ODIN 32 0.21875 0.17830 0.19129 0.14942 0.30769 0.27184 0.84871
ODIN 36 0.18750 0.14543 0.21819 0.17770 0.29787 0.26152 0.84608
ODIN 45 0.12500 0.07969 0.21053 0.16965 0.33333 0.29881 0.83667
FastABOD 3 0.25000 0.21117 0.15608 0.11238 0.28000 0.24272 0.74616
FastABOD 6 0.25000 0.21117 0.18100 0.13859 0.30303 0.26694 0.76881
FastABOD 100 0.18750 0.14543 0.18147 0.13909 0.27273 0.23507 0.82322
KDEOS 3 0.18750 0.14543 0.07650 0.02869 0.19355 0.15179 0.49616
KDEOS 78 0.18750 0.14543 0.20007 0.15865 0.24561 0.20655 0.80057
KDEOS 95 0.12500 0.07969 0.13859 0.09399 0.27523 0.23770 0.80967
KDEOS 99 0.12500 0.07969 0.13821 0.09359 0.27778 0.24038 0.80724
LDF 2 0.25000 0.21117 0.18960 0.14764 0.29167 0.25499 0.63855
LDF 86 0.12500 0.07969 0.29192 0.25525 0.41791 0.38777 0.91545
LDF 96 0.12500 0.07969 0.26392 0.22580 0.45614 0.42798 0.91687
INFLO 2 0.18750 0.14543 0.11440 0.06854 0.24000 0.20065 0.54854
INFLO 28 0.12500 0.07969 0.18801 0.14596 0.23729 0.19779 0.80947
INFLO 99 0.12500 0.07969 0.21537 0.17474 0.33333 0.29881 0.80724
INFLO 100 0.12500 0.07969 0.21557 0.17495 0.33333 0.29881 0.80744
COF 13 0.18750 0.14543 0.22456 0.18441 0.31579 0.28036 0.82423
COF 33 0.18750 0.14543 0.20670 0.16562 0.32836 0.29358 0.85012
COF 35 0.18750 0.14543 0.19824 0.15673 0.29851 0.26218 0.85235
COF 50 0.25000 0.21117 0.19982 0.15839 0.29412 0.25757 0.82383

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO