Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Stamps (5% of outliers version#03)

A data set representing forged (photocopied or scanned+printed) stamps and genuine (ink) stamps. The features are based on color and printing properties of the stamps. Forged stamps are considered to be outliers. The stamps data set is not taken from the UCI repository, but was used in [1].

References:

[1] B. Micenkova, J. van Beusekom, and F. Shafait. Stamp verification for automated document authentication. In 5th Int. Workshop on Computational Forensics, 2012.

Download all data set variants used (371.2 kB).

Normalized, without duplicates

This version contains 9 attributes, 325 objects, 16 outliers (4.92%)

Download raw algorithm results (2.8 MB) Download raw algorithm evaluation table (49.0 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.18750 0.14543 0.17635 0.13370 0.29091 0.25419 0.84527
KNN 7 0.12500 0.07969 0.22020 0.17982 0.44118 0.41224 0.90291
KNN 8 0.12500 0.07969 0.22231 0.18204 0.42857 0.39898 0.90423
KNN 55 0.12500 0.07969 0.22146 0.18115 0.42105 0.39107 0.90514
KNNW 1 0.12500 0.07969 0.11926 0.07365 0.20408 0.16287 0.70287
KNNW 43 0.12500 0.07969 0.21781 0.17731 0.42105 0.39107 0.90271
KNNW 71 0.12500 0.07969 0.22002 0.17963 0.41558 0.38532 0.90473
LOF 2 0.12500 0.07969 0.05601 0.00713 0.12903 0.08393 0.48665
LOF 18 0.12500 0.07969 0.17646 0.13381 0.35897 0.32578 0.86347
LOF 34 0.12500 0.07969 0.20979 0.16887 0.29126 0.25456 0.84527
LOF 100 0.12500 0.07969 0.19781 0.15628 0.35556 0.32219 0.88006
SimplifiedLOF 10 0.12500 0.07969 0.09585 0.04903 0.17073 0.12779 0.63167
SimplifiedLOF 47 0.12500 0.07969 0.20068 0.15929 0.28571 0.24873 0.83536
SimplifiedLOF 50 0.12500 0.07969 0.19586 0.15422 0.28866 0.25183 0.83354
SimplifiedLOF 100 0.12500 0.07969 0.16764 0.12454 0.27957 0.24227 0.83738
LoOP 13 0.12500 0.07969 0.10455 0.05818 0.19753 0.15598 0.68467
LoOP 46 0.12500 0.07969 0.19312 0.15133 0.27083 0.23308 0.83192
LoOP 49 0.12500 0.07969 0.19287 0.15108 0.27660 0.23914 0.83010
LoOP 100 0.12500 0.07969 0.16455 0.12129 0.26263 0.22445 0.83252
LDOF 18 0.12500 0.07969 0.08363 0.03618 0.14213 0.09771 0.65494
LDOF 47 0.12500 0.07969 0.14857 0.10448 0.27500 0.23746 0.83940
LDOF 57 0.12500 0.07969 0.14211 0.09769 0.27660 0.23914 0.82544
LDOF 100 0.12500 0.07969 0.15593 0.11222 0.26190 0.22369 0.81675
ODIN 20 0.20312 0.16186 0.13775 0.09310 0.22857 0.18863 0.78995
ODIN 44 0.12500 0.07969 0.15145 0.10751 0.30556 0.26960 0.83505
ODIN 55 0.12500 0.07969 0.15523 0.11149 0.28916 0.25235 0.84031
ODIN 59 0.12500 0.07969 0.15826 0.11468 0.29412 0.25757 0.83374
FastABOD 4 0.12500 0.07969 0.14507 0.10080 0.26316 0.22500 0.80259
FastABOD 67 0.12500 0.07969 0.14723 0.10308 0.29730 0.26091 0.80583
FastABOD 74 0.12500 0.07969 0.14710 0.10294 0.30137 0.26519 0.80603
FastABOD 100 0.12500 0.07969 0.14668 0.10249 0.28571 0.24873 0.80947
KDEOS 35 0.12500 0.07969 0.08217 0.03464 0.15385 0.11003 0.68002
KDEOS 91 0.06250 0.01396 0.13186 0.08691 0.24138 0.20210 0.78236
KDEOS 92 0.06250 0.01396 0.11587 0.07009 0.24348 0.20431 0.78115
LDF 2 0.12500 0.07969 0.06655 0.01821 0.14815 0.10404 0.52265
LDF 12 0.12500 0.07969 0.20287 0.16159 0.42254 0.39263 0.89118
LDF 61 0.12500 0.07969 0.23320 0.19349 0.35714 0.32386 0.88188
LDF 91 0.12500 0.07969 0.22020 0.17982 0.40541 0.37462 0.89826
INFLO 12 0.12500 0.07969 0.09048 0.04338 0.16794 0.12485 0.63673
INFLO 55 0.12500 0.07969 0.18233 0.13999 0.25243 0.21372 0.79339
INFLO 86 0.12500 0.07969 0.16030 0.11682 0.26531 0.22726 0.80997
INFLO 97 0.12500 0.07969 0.15234 0.10845 0.28571 0.24873 0.75789
COF 12 0.18750 0.14543 0.18484 0.14263 0.25641 0.21791 0.72269
COF 36 0.12500 0.07969 0.21216 0.17136 0.35484 0.32143 0.87419
COF 43 0.12500 0.07969 0.19995 0.15852 0.38596 0.35417 0.84304
COF 44 0.12500 0.07969 0.23190 0.19213 0.36066 0.32755 0.83677

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 9 attributes, 325 objects, 16 outliers (4.92%)

Download raw algorithm results (2.8 MB) Download raw algorithm evaluation table (48.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.18750 0.14543 0.18182 0.13945 0.30769 0.27184 0.84324
KNN 37 0.06250 0.01396 0.24831 0.20939 0.47619 0.44907 0.92132
KNN 46 0.06250 0.01396 0.24958 0.21073 0.47619 0.44907 0.92091
KNNW 1 0.12500 0.07969 0.12548 0.08019 0.21277 0.17200 0.72998
KNNW 37 0.12500 0.07969 0.23752 0.19804 0.47458 0.44737 0.91586
KNNW 69 0.12500 0.07969 0.24626 0.20724 0.46154 0.43366 0.92051
LOF 3 0.18750 0.14543 0.15858 0.11501 0.27778 0.24038 0.65595
LOF 19 0.06250 0.01396 0.20864 0.16766 0.32911 0.29438 0.86226
LOF 95 0.06250 0.01396 0.19865 0.15715 0.36842 0.33572 0.88188
LOF 99 0.06250 0.01396 0.20181 0.16048 0.36842 0.33572 0.88471
SimplifiedLOF 3 0.12500 0.07969 0.06993 0.02177 0.14286 0.09847 0.53863
SimplifiedLOF 41 0.06250 0.01396 0.18263 0.14030 0.27273 0.23507 0.82180
SimplifiedLOF 89 0.06250 0.01396 0.15674 0.11307 0.28571 0.24873 0.82686
SimplifiedLOF 100 0.06250 0.01396 0.16204 0.11865 0.28571 0.24873 0.83677
LoOP 4 0.12500 0.07969 0.08129 0.03372 0.14815 0.10404 0.56998
LoOP 94 0.06250 0.01396 0.15906 0.11551 0.28571 0.24873 0.83050
LoOP 100 0.06250 0.01396 0.16086 0.11740 0.28283 0.24569 0.83495
LDOF 6 0.12500 0.07969 0.07696 0.02916 0.13333 0.08846 0.57180
LDOF 52 0.06250 0.01396 0.13050 0.08548 0.25600 0.21748 0.82201
LDOF 99 0.06250 0.01396 0.15247 0.10858 0.28571 0.24873 0.82079
LDOF 100 0.06250 0.01396 0.15286 0.10899 0.28571 0.24873 0.82180
ODIN 16 0.15625 0.11256 0.12921 0.08412 0.20000 0.15858 0.74221
ODIN 35 0.08036 0.03274 0.14483 0.10055 0.29268 0.25606 0.82949
ODIN 51 0.06250 0.01396 0.14856 0.10448 0.27778 0.24038 0.84274
ODIN 56 0.06250 0.01396 0.15033 0.10633 0.28169 0.24450 0.83970
FastABOD 4 0.12500 0.07969 0.15122 0.10727 0.28571 0.24873 0.81553
FastABOD 48 0.06250 0.01396 0.14967 0.10565 0.30769 0.27184 0.81331
FastABOD 93 0.12500 0.07969 0.15492 0.11116 0.30769 0.27184 0.82403
FastABOD 100 0.12500 0.07969 0.15480 0.11103 0.30769 0.27184 0.82484
KDEOS 18 0.12500 0.07969 0.06452 0.01608 0.13333 0.08846 0.56513
KDEOS 55 0.12500 0.07969 0.16397 0.12068 0.18293 0.14062 0.75061
KDEOS 88 0.06250 0.01396 0.10908 0.06295 0.24561 0.20655 0.77973
KDEOS 98 0.06250 0.01396 0.10599 0.05970 0.25000 0.21117 0.77832
LDF 3 0.25000 0.21117 0.16251 0.11915 0.27907 0.24174 0.69074
LDF 63 0.06250 0.01396 0.25137 0.21260 0.38356 0.35164 0.89806
LDF 93 0.06250 0.01396 0.24866 0.20976 0.46667 0.43905 0.91424
LDF 96 0.06250 0.01396 0.25047 0.21166 0.45902 0.43100 0.91485
INFLO 3 0.12500 0.07969 0.06442 0.01597 0.16000 0.11650 0.46491
INFLO 38 0.06250 0.01396 0.16870 0.12565 0.23762 0.19815 0.78176
INFLO 97 0.06250 0.01396 0.15623 0.11254 0.28571 0.24873 0.78924
INFLO 100 0.06250 0.01396 0.16381 0.12052 0.27957 0.24227 0.82140
COF 10 0.25000 0.21117 0.17716 0.13455 0.25000 0.21117 0.69519
COF 34 0.12500 0.07969 0.21234 0.17156 0.30588 0.26994 0.84547
COF 49 0.18750 0.14543 0.21376 0.17305 0.32143 0.28629 0.81675
COF 50 0.18750 0.14543 0.21812 0.17764 0.32143 0.28629 0.81796

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO