Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Stamps (2% of outliers version#02)

A data set representing forged (photocopied or scanned+printed) stamps and genuine (ink) stamps. The features are based on color and printing properties of the stamps. Forged stamps are considered to be outliers. The stamps data set is not taken from the UCI repository, but was used in [1].

References:

[1] B. Micenkova, J. van Beusekom, and F. Shafait. Stamp verification for automated document authentication. In 5th Int. Workshop on Computational Forensics, 2012.

Download all data set variants used (371.2 kB).

Normalized, without duplicates

This version contains 9 attributes, 315 objects, 6 outliers (1.90%)

Download raw algorithm results (2.8 MB) Download raw algorithm evaluation table (38.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.16667 0.15049 0.16496 0.14875 0.29412 0.28041 0.92314
KNN 2 0.16667 0.15049 0.18907 0.17333 0.35294 0.34038 0.94444
KNNW 1 0.16667 0.15049 0.08374 0.06595 0.18182 0.16593 0.77319
KNNW 6 0.16667 0.15049 0.17646 0.16047 0.33333 0.32039 0.93689
LOF 3 0.16667 0.15049 0.16610 0.14991 0.25000 0.23544 0.87864
LOF 5 0.16667 0.15049 0.25716 0.24274 0.28571 0.27184 0.91424
LOF 11 0.16667 0.15049 0.26000 0.24563 0.28571 0.27184 0.91748
SimplifiedLOF 4 0.16667 0.15049 0.06699 0.04888 0.18182 0.16593 0.62999
SimplifiedLOF 9 0.16667 0.15049 0.24023 0.22547 0.28571 0.27184 0.89159
SimplifiedLOF 23 0.16667 0.15049 0.14979 0.13328 0.23810 0.22330 0.91694
SimplifiedLOF 26 0.16667 0.15049 0.25829 0.24389 0.28571 0.27184 0.91532
LoOP 6 0.16667 0.15049 0.08520 0.06744 0.17391 0.15787 0.81715
LoOP 12 0.16667 0.15049 0.23493 0.22007 0.28571 0.27184 0.88242
LoOP 27 0.16667 0.15049 0.25898 0.24459 0.28571 0.27184 0.91640
LDOF 9 0.16667 0.15049 0.07742 0.05950 0.20000 0.18447 0.75674
LDOF 45 0.16667 0.15049 0.15126 0.13478 0.22727 0.21227 0.91640
LDOF 67 0.16667 0.15049 0.16458 0.14835 0.25000 0.23544 0.90183
LDOF 73 0.16667 0.15049 0.16726 0.15109 0.25000 0.23544 0.90561
ODIN 15 0.16667 0.15049 0.12698 0.11003 0.23810 0.22330 0.91748
ODIN 17 0.16667 0.15049 0.15584 0.13945 0.27778 0.26375 0.93528
ODIN 18 0.06667 0.04854 0.14565 0.12906 0.29412 0.28041 0.93312
FastABOD 3 0.00000 -0.01942 0.05489 0.03654 0.12308 0.10605 0.78964
FastABOD 40 0.00000 -0.01942 0.11100 0.09374 0.22222 0.20712 0.90669
FastABOD 44 0.00000 -0.01942 0.11181 0.09456 0.21739 0.20220 0.90777
KDEOS 45 0.16667 0.15049 0.11258 0.09535 0.21818 0.20300 0.90507
KDEOS 60 0.00000 -0.01942 0.15612 0.13973 0.33333 0.32039 0.94337
KDEOS 70 0.16667 0.15049 0.17309 0.15703 0.30000 0.28641 0.93581
LDF 3 0.16667 0.15049 0.25448 0.24000 0.40000 0.38835 0.95901
INFLO 4 0.16667 0.15049 0.06903 0.05095 0.16667 0.15049 0.69471
INFLO 7 0.16667 0.15049 0.22266 0.20757 0.28571 0.27184 0.84035
INFLO 23 0.16667 0.15049 0.25130 0.23677 0.28571 0.27184 0.90723
INFLO 24 0.16667 0.15049 0.25131 0.23677 0.28571 0.27184 0.90669
COF 5 0.16667 0.15049 0.09558 0.07802 0.17391 0.15787 0.86300
COF 10 0.16667 0.15049 0.29517 0.28148 0.30769 0.29425 0.94283

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 9 attributes, 315 objects, 6 outliers (1.90%)

Download raw algorithm results (2.7 MB) Download raw algorithm evaluation table (37.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.16667 0.15049 0.17859 0.16264 0.34483 0.33211 0.93069
KNN 2 0.16667 0.15049 0.25019 0.23563 0.41379 0.40241 0.95793
KNN 4 0.16667 0.15049 0.23359 0.21871 0.37037 0.35814 0.95847
KNNW 1 0.16667 0.15049 0.09822 0.08071 0.20000 0.18447 0.80340
KNNW 6 0.16667 0.15049 0.21268 0.19739 0.40000 0.38835 0.95415
KNNW 7 0.16667 0.15049 0.21697 0.20177 0.40000 0.38835 0.95577
LOF 3 0.16667 0.15049 0.16335 0.14711 0.25000 0.23544 0.86893
LOF 5 0.16667 0.15049 0.26538 0.25112 0.28571 0.27184 0.92179
LOF 6 0.16667 0.15049 0.27768 0.26366 0.28571 0.27184 0.93150
SimplifiedLOF 4 0.16667 0.15049 0.11872 0.10161 0.25000 0.23544 0.65264
SimplifiedLOF 8 0.16667 0.15049 0.24063 0.22588 0.28571 0.27184 0.88619
SimplifiedLOF 24 0.16667 0.15049 0.26404 0.24975 0.28571 0.27184 0.92125
LoOP 6 0.16667 0.15049 0.12401 0.10700 0.22222 0.20712 0.83981
LoOP 10 0.16667 0.15049 0.23756 0.22275 0.28571 0.27184 0.88350
LoOP 27 0.16667 0.15049 0.18183 0.16595 0.25000 0.23544 0.92179
LoOP 28 0.16667 0.15049 0.26461 0.25033 0.28571 0.27184 0.92179
LDOF 8 0.16667 0.15049 0.06554 0.04740 0.16667 0.15049 0.76753
LDOF 34 0.16667 0.15049 0.12786 0.11092 0.25000 0.23544 0.91154
LDOF 36 0.16667 0.15049 0.12967 0.11277 0.24390 0.22922 0.91424
LDOF 80 0.16667 0.15049 0.17196 0.15588 0.25000 0.23544 0.91154
ODIN 15 0.16667 0.15049 0.12449 0.10749 0.23810 0.22330 0.91100
ODIN 18 0.02778 0.00890 0.12428 0.10727 0.25806 0.24366 0.92718
ODIN 19 0.02778 0.00890 0.13478 0.11798 0.26667 0.25243 0.92017
FastABOD 22 0.00000 -0.01942 0.12635 0.10938 0.26316 0.24885 0.91855
FastABOD 61 0.16667 0.15049 0.13236 0.11551 0.25000 0.23544 0.92341
FastABOD 84 0.16667 0.15049 0.13432 0.11751 0.25000 0.23544 0.92503
KDEOS 2 0.00000 -0.01942 0.02406 0.00511 0.09091 0.07326 0.40939
KDEOS 55 0.00000 -0.01942 0.12630 0.10933 0.30769 0.29425 0.92665
LDF 3 0.16667 0.15049 0.21288 0.19760 0.33333 0.32039 0.94283
LDF 4 0.16667 0.15049 0.28734 0.27350 0.32432 0.31120 0.93851
LDF 100 0.16667 0.15049 0.21575 0.20052 0.31250 0.29915 0.94391
INFLO 4 0.16667 0.15049 0.08424 0.06646 0.20000 0.18447 0.70388
INFLO 7 0.16667 0.15049 0.24781 0.23320 0.28571 0.27184 0.87001
INFLO 28 0.16667 0.15049 0.25803 0.24362 0.28571 0.27184 0.91478
INFLO 100 0.16667 0.15049 0.17742 0.16145 0.25000 0.23544 0.91694
COF 5 0.16667 0.15049 0.08968 0.07200 0.17391 0.15787 0.82956
COF 8 0.16667 0.15049 0.31989 0.30669 0.33333 0.32039 0.94714
COF 9 0.16667 0.15049 0.31824 0.30500 0.33333 0.32039 0.94984
COF 12 0.16667 0.15049 0.31800 0.30476 0.36364 0.35128 0.94876

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO