Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Stamps (2% of outliers version#07)

A data set representing forged (photocopied or scanned+printed) stamps and genuine (ink) stamps. The features are based on color and printing properties of the stamps. Forged stamps are considered to be outliers. The stamps data set is not taken from the UCI repository, but was used in [1].

References:

[1] B. Micenkova, J. van Beusekom, and F. Shafait. Stamp verification for automated document authentication. In 5th Int. Workshop on Computational Forensics, 2012.

Download all data set variants used (371.2 kB).

Normalized, without duplicates

This version contains 9 attributes, 315 objects, 6 outliers (1.90%)

Download raw algorithm results (2.7 MB) Download raw algorithm evaluation table (36.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.16667 0.15049 0.20493 0.18949 0.34483 0.33211 0.94822
KNN 2 0.16667 0.15049 0.23105 0.21612 0.38710 0.37520 0.95793
KNNW 1 0.16667 0.15049 0.17164 0.15556 0.28571 0.27184 0.87109
KNNW 6 0.16667 0.15049 0.22122 0.20609 0.37500 0.36286 0.95631
LOF 1 0.16667 0.15049 0.07027 0.05222 0.21053 0.19520 0.59682
LOF 6 0.16667 0.15049 0.17636 0.16037 0.30769 0.29425 0.91532
LOF 11 0.16667 0.15049 0.29670 0.28305 0.28571 0.27184 0.93905
LOF 12 0.16667 0.15049 0.29473 0.28104 0.28571 0.27184 0.93959
SimplifiedLOF 1 0.16667 0.15049 0.06021 0.04196 0.18182 0.16593 0.49407
SimplifiedLOF 9 0.16667 0.15049 0.20287 0.18739 0.30769 0.29425 0.90885
SimplifiedLOF 10 0.16667 0.15049 0.28933 0.27553 0.30769 0.29425 0.91640
SimplifiedLOF 21 0.16667 0.15049 0.28509 0.27121 0.28571 0.27184 0.93042
LoOP 1 0.16667 0.15049 0.05992 0.04167 0.18182 0.16593 0.48544
LoOP 6 0.16667 0.15049 0.22699 0.21199 0.28571 0.27184 0.75782
LoOP 23 0.16667 0.15049 0.27857 0.26456 0.28571 0.27184 0.92988
LoOP 39 0.16667 0.15049 0.27863 0.26462 0.28571 0.27184 0.92665
LDOF 5 0.16667 0.15049 0.07019 0.05213 0.20000 0.18447 0.61435
LDOF 13 0.16667 0.15049 0.22198 0.20687 0.28571 0.27184 0.82740
LDOF 47 0.16667 0.15049 0.28656 0.27270 0.28571 0.27184 0.93258
ODIN 9 0.16667 0.15049 0.07682 0.05890 0.16667 0.15049 0.82848
ODIN 36 0.16667 0.15049 0.27634 0.26229 0.28571 0.27184 0.92961
ODIN 48 0.16667 0.15049 0.28009 0.26611 0.28571 0.27184 0.92853
FastABOD 3 0.16667 0.15049 0.13791 0.12117 0.25000 0.23544 0.87918
FastABOD 12 0.16667 0.15049 0.21870 0.20353 0.28571 0.27184 0.93689
FastABOD 15 0.16667 0.15049 0.22674 0.21172 0.28571 0.27184 0.94121
FastABOD 19 0.16667 0.15049 0.22202 0.20691 0.26667 0.25243 0.94175
KDEOS 71 0.33333 0.32039 0.22813 0.21315 0.36364 0.35128 0.94714
KDEOS 77 0.33333 0.32039 0.23212 0.21721 0.36364 0.35128 0.95092
KDEOS 95 0.33333 0.32039 0.29961 0.28601 0.44444 0.43366 0.93959
LDF 3 0.33333 0.32039 0.24715 0.23253 0.40000 0.38835 0.91963
LDF 8 0.16667 0.15049 0.17357 0.15752 0.30303 0.28950 0.94229
LDF 11 0.16667 0.15049 0.29624 0.28257 0.28571 0.27184 0.93905
INFLO 1 0.16667 0.15049 0.10142 0.08398 0.25000 0.23544 0.46926
INFLO 7 0.16667 0.15049 0.22707 0.21206 0.28571 0.27184 0.82578
INFLO 22 0.16667 0.15049 0.27619 0.26214 0.28571 0.27184 0.92071
COF 11 0.16667 0.15049 0.22648 0.21146 0.42105 0.40981 0.94606
COF 24 0.33333 0.32039 0.32541 0.31231 0.33333 0.32039 0.94013

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 9 attributes, 315 objects, 6 outliers (1.90%)

Download raw algorithm results (2.7 MB) Download raw algorithm evaluation table (36.0 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.16667 0.15049 0.20866 0.19330 0.32258 0.30943 0.94903
KNN 2 0.16667 0.15049 0.22508 0.21003 0.38710 0.37520 0.95820
KNNW 1 0.16667 0.15049 0.17219 0.15611 0.28571 0.27184 0.87918
KNNW 5 0.16667 0.15049 0.21723 0.20203 0.35294 0.34038 0.95469
LOF 5 0.33333 0.32039 0.15609 0.13970 0.33333 0.32039 0.87433
LOF 13 0.16667 0.15049 0.28756 0.27372 0.28571 0.27184 0.93689
SimplifiedLOF 1 0.16667 0.15049 0.08828 0.07057 0.22222 0.20712 0.50539
SimplifiedLOF 2 0.16667 0.15049 0.19555 0.17993 0.28571 0.27184 0.56850
SimplifiedLOF 24 0.16667 0.15049 0.28526 0.27138 0.28571 0.27184 0.93258
LoOP 1 0.16667 0.15049 0.08786 0.07015 0.22222 0.20712 0.49353
LoOP 2 0.16667 0.15049 0.19115 0.17544 0.28571 0.27184 0.58360
LoOP 32 0.16667 0.15049 0.27516 0.26108 0.28571 0.27184 0.92772
LoOP 40 0.16667 0.15049 0.27613 0.26207 0.28571 0.27184 0.92395
LDOF 5 0.16667 0.15049 0.06660 0.04847 0.20000 0.18447 0.59223
LDOF 13 0.16667 0.15049 0.21731 0.20211 0.28571 0.27184 0.82362
LDOF 34 0.16667 0.15049 0.27769 0.26366 0.28571 0.27184 0.93150
LDOF 54 0.16667 0.15049 0.28294 0.26901 0.28571 0.27184 0.92826
ODIN 9 0.16667 0.15049 0.07359 0.05560 0.16667 0.15049 0.79908
ODIN 35 0.16667 0.15049 0.27431 0.26022 0.28571 0.27184 0.92988
ODIN 36 0.16667 0.15049 0.27704 0.26300 0.28571 0.27184 0.93312
ODIN 55 0.16667 0.15049 0.28542 0.27154 0.28571 0.27184 0.93096
FastABOD 3 0.16667 0.15049 0.14349 0.12686 0.24390 0.22922 0.92233
FastABOD 69 0.16667 0.15049 0.22857 0.21360 0.30000 0.28641 0.94229
KDEOS 72 0.33333 0.32039 0.23005 0.21510 0.36364 0.35128 0.94283
KDEOS 73 0.33333 0.32039 0.24519 0.23053 0.40000 0.38835 0.94714
KDEOS 75 0.33333 0.32039 0.23864 0.22385 0.36364 0.35128 0.94822
KDEOS 87 0.33333 0.32039 0.27110 0.25695 0.40000 0.38835 0.94121
LDF 3 0.33333 0.32039 0.23042 0.21548 0.40000 0.38835 0.90615
LDF 9 0.16667 0.15049 0.29752 0.28388 0.31250 0.29915 0.94391
INFLO 1 0.16667 0.15049 0.11577 0.09860 0.30769 0.29425 0.47600
INFLO 32 0.16667 0.15049 0.27226 0.25813 0.28571 0.27184 0.91909
INFLO 36 0.16667 0.15049 0.27257 0.25844 0.28571 0.27184 0.91640
COF 9 0.33333 0.32039 0.21101 0.19569 0.37500 0.36286 0.93150
COF 11 0.33333 0.32039 0.23466 0.21980 0.36364 0.35128 0.94229
COF 18 0.16667 0.15049 0.22292 0.20783 0.28571 0.27184 0.94391
COF 38 0.33333 0.32039 0.17616 0.16016 0.40000 0.38835 0.76969

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO