Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Stamps (2% of outliers version#08)

A data set representing forged (photocopied or scanned+printed) stamps and genuine (ink) stamps. The features are based on color and printing properties of the stamps. Forged stamps are considered to be outliers. The stamps data set is not taken from the UCI repository, but was used in [1].

References:

[1] B. Micenkova, J. van Beusekom, and F. Shafait. Stamp verification for automated document authentication. In 5th Int. Workshop on Computational Forensics, 2012.

Download all data set variants used (371.2 kB).

Normalized, without duplicates

This version contains 9 attributes, 315 objects, 6 outliers (1.90%)

Download raw algorithm results (2.7 MB) Download raw algorithm evaluation table (38.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.16667 0.15049 0.20949 0.19414 0.34483 0.33211 0.94822
KNN 3 0.33333 0.32039 0.21473 0.19948 0.33333 0.32039 0.93689
KNNW 1 0.16667 0.15049 0.14408 0.12746 0.22222 0.20712 0.90076
KNNW 3 0.16667 0.15049 0.19321 0.17754 0.32258 0.30943 0.94444
KNNW 4 0.16667 0.15049 0.19420 0.17856 0.30303 0.28950 0.94229
LOF 1 0.16667 0.15049 0.19132 0.17562 0.28571 0.27184 0.64455
LOF 3 0.16667 0.15049 0.16672 0.15054 0.24000 0.22524 0.92934
LOF 14 0.16667 0.15049 0.25837 0.24397 0.28571 0.27184 0.90669
SimplifiedLOF 1 0.16667 0.15049 0.20053 0.18501 0.28571 0.27184 0.50054
SimplifiedLOF 4 0.16667 0.15049 0.15700 0.14063 0.26087 0.24652 0.92395
SimplifiedLOF 21 0.16667 0.15049 0.25895 0.24456 0.28571 0.27184 0.91532
LoOP 1 0.16667 0.15049 0.20020 0.18467 0.28571 0.27184 0.49191
LoOP 4 0.16667 0.15049 0.17926 0.16333 0.25641 0.24197 0.91855
LoOP 20 0.16667 0.15049 0.26702 0.25279 0.28571 0.27184 0.91640
LDOF 6 0.16667 0.15049 0.13490 0.11810 0.22222 0.20712 0.88457
LDOF 12 0.16667 0.15049 0.23983 0.22507 0.28571 0.27184 0.89051
LDOF 23 0.16667 0.15049 0.26488 0.25060 0.28571 0.27184 0.92125
ODIN 7 0.11111 0.09385 0.12696 0.11001 0.25000 0.23544 0.93231
ODIN 9 0.16667 0.15049 0.11471 0.09752 0.22222 0.20712 0.88970
ODIN 19 0.16667 0.15049 0.18124 0.16534 0.30769 0.29425 0.90210
ODIN 36 0.16667 0.15049 0.24987 0.23531 0.28571 0.27184 0.86003
FastABOD 3 0.16667 0.15049 0.18932 0.17358 0.40000 0.38835 0.88997
FastABOD 5 0.16667 0.15049 0.22901 0.21404 0.42105 0.40981 0.93905
FastABOD 15 0.16667 0.15049 0.30140 0.28784 0.28571 0.27184 0.93635
FastABOD 29 0.16667 0.15049 0.22388 0.20881 0.26667 0.25243 0.94067
KDEOS 7 0.16667 0.15049 0.09241 0.07479 0.20000 0.18447 0.77454
KDEOS 39 0.00000 -0.01942 0.13960 0.12290 0.29630 0.28263 0.92287
KDEOS 50 0.00000 -0.01942 0.17195 0.15587 0.38462 0.37267 0.92125
KDEOS 85 0.16667 0.15049 0.17648 0.16049 0.25000 0.23544 0.87918
LDF 1 0.16667 0.15049 0.19136 0.17566 0.28571 0.27184 0.60572
LDF 2 0.16667 0.15049 0.17300 0.15694 0.37037 0.35814 0.86084
LDF 41 0.16667 0.15049 0.26076 0.24641 0.30769 0.29425 0.83603
LDF 100 0.16667 0.15049 0.17876 0.16281 0.25000 0.23544 0.91208
INFLO 1 0.16667 0.15049 0.10997 0.09269 0.25000 0.23544 0.47141
INFLO 8 0.16667 0.15049 0.25507 0.24061 0.28571 0.27184 0.89428
INFLO 16 0.16667 0.15049 0.26998 0.25580 0.28571 0.27184 0.91100
INFLO 30 0.16667 0.15049 0.26678 0.25254 0.28571 0.27184 0.91694
COF 1 0.16667 0.15049 0.20053 0.18501 0.28571 0.27184 0.50054
COF 3 0.16667 0.15049 0.28130 0.26734 0.28571 0.27184 0.93474
COF 4 0.16667 0.15049 0.27417 0.26008 0.29412 0.28041 0.91909
COF 14 0.16667 0.15049 0.21850 0.20332 0.28571 0.27184 0.93743

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 9 attributes, 315 objects, 6 outliers (1.90%)

Download raw algorithm results (2.7 MB) Download raw algorithm evaluation table (38.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.16667 0.15049 0.20608 0.19067 0.33333 0.32039 0.94822
KNN 2 0.33333 0.32039 0.21892 0.20375 0.33333 0.32039 0.94121
KNNW 1 0.16667 0.15049 0.14695 0.13038 0.22222 0.20712 0.90939
KNNW 3 0.16667 0.15049 0.19788 0.18230 0.33333 0.32039 0.94660
KNNW 5 0.16667 0.15049 0.19872 0.18316 0.31250 0.29915 0.94337
LOF 1 0.16667 0.15049 0.19086 0.17515 0.28571 0.27184 0.63862
LOF 3 0.16667 0.15049 0.21143 0.19612 0.30769 0.29425 0.93905
LOF 11 0.16667 0.15049 0.25976 0.24539 0.28571 0.27184 0.90831
SimplifiedLOF 1 0.16667 0.15049 0.19947 0.18392 0.28571 0.27184 0.50809
SimplifiedLOF 4 0.16667 0.15049 0.19288 0.17721 0.27907 0.26507 0.93042
SimplifiedLOF 9 0.16667 0.15049 0.26299 0.24868 0.28571 0.27184 0.91316
LoOP 1 0.16667 0.15049 0.20027 0.18474 0.28571 0.27184 0.54126
LoOP 4 0.16667 0.15049 0.19085 0.17513 0.27027 0.25610 0.92880
LoOP 11 0.16667 0.15049 0.27143 0.25729 0.28571 0.27184 0.92287
LDOF 5 0.16667 0.15049 0.18059 0.16468 0.31579 0.30250 0.86677
LDOF 25 0.16667 0.15049 0.27362 0.25952 0.29268 0.27895 0.92880
ODIN 7 0.12500 0.10801 0.12945 0.11255 0.25000 0.23544 0.93285
ODIN 9 0.16667 0.15049 0.12282 0.10579 0.22222 0.20712 0.90750
ODIN 21 0.16667 0.15049 0.21558 0.20034 0.36364 0.35128 0.88107
ODIN 35 0.16667 0.15049 0.24880 0.23421 0.28571 0.27184 0.85787
FastABOD 3 0.16667 0.15049 0.18553 0.16971 0.33333 0.32039 0.92557
FastABOD 4 0.16667 0.15049 0.21836 0.20319 0.38095 0.36893 0.93150
FastABOD 5 0.16667 0.15049 0.23191 0.21700 0.35294 0.34038 0.92557
FastABOD 33 0.16667 0.15049 0.22862 0.21364 0.28571 0.27184 0.94175
KDEOS 3 0.16667 0.15049 0.06564 0.04750 0.20000 0.18447 0.58306
KDEOS 8 0.16667 0.15049 0.21607 0.20084 0.28571 0.27184 0.79072
KDEOS 41 0.00000 -0.01942 0.15743 0.14107 0.34483 0.33211 0.93366
KDEOS 52 0.00000 -0.01942 0.15054 0.13404 0.37037 0.35814 0.91532
LDF 1 0.16667 0.15049 0.18979 0.17406 0.28571 0.27184 0.59277
LDF 2 0.16667 0.15049 0.19881 0.18325 0.37037 0.35814 0.87001
LDF 23 0.16667 0.15049 0.26210 0.24777 0.28571 0.27184 0.81176
LDF 99 0.16667 0.15049 0.18293 0.16707 0.25000 0.23544 0.91748
INFLO 1 0.16667 0.15049 0.20010 0.18456 0.28571 0.27184 0.53317
INFLO 19 0.16667 0.15049 0.27349 0.25939 0.28571 0.27184 0.91424
INFLO 29 0.16667 0.15049 0.27292 0.25881 0.28571 0.27184 0.92017
COF 4 0.16667 0.15049 0.28266 0.26873 0.29412 0.28041 0.91370
COF 10 0.16667 0.15049 0.21608 0.20086 0.37500 0.36286 0.93635
COF 11 0.16667 0.15049 0.20899 0.19364 0.33333 0.32039 0.93851
COF 18 0.33333 0.32039 0.22159 0.20647 0.33333 0.32039 0.91532

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO