Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Stamps (2% of outliers version#01)

A data set representing forged (photocopied or scanned+printed) stamps and genuine (ink) stamps. The features are based on color and printing properties of the stamps. Forged stamps are considered to be outliers. The stamps data set is not taken from the UCI repository, but was used in [1].

References:

[1] B. Micenkova, J. van Beusekom, and F. Shafait. Stamp verification for automated document authentication. In 5th Int. Workshop on Computational Forensics, 2012.

Download all data set variants used (371.2 kB).

Normalized, without duplicates

This version contains 9 attributes, 315 objects, 6 outliers (1.90%)

Download raw algorithm results (2.7 MB) Download raw algorithm evaluation table (39.5 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.16667 0.15049 0.17779 0.16183 0.32000 0.30680 0.94067
KNNW 1 0.16667 0.15049 0.21119 0.19587 0.34783 0.33516 0.95685
LOF 3 0.16667 0.15049 0.18341 0.16755 0.25000 0.23544 0.91154
LOF 4 0.16667 0.15049 0.18497 0.16915 0.26667 0.25243 0.92449
LOF 5 0.16667 0.15049 0.24617 0.23153 0.28571 0.27184 0.90129
LOF 11 0.16667 0.15049 0.25654 0.24211 0.28571 0.27184 0.91208
SimplifiedLOF 4 0.16667 0.15049 0.11052 0.09325 0.20000 0.18447 0.83819
SimplifiedLOF 11 0.16667 0.15049 0.25089 0.23635 0.28571 0.27184 0.90723
SimplifiedLOF 12 0.16667 0.15049 0.16861 0.15247 0.25000 0.23544 0.90831
LoOP 7 0.16667 0.15049 0.08924 0.07156 0.16667 0.15049 0.85275
LoOP 14 0.16667 0.15049 0.11961 0.10252 0.21277 0.19748 0.89590
LoOP 31 0.16667 0.15049 0.23874 0.22395 0.28571 0.27184 0.88134
LDOF 11 0.16667 0.15049 0.10081 0.08335 0.18182 0.16593 0.87540
LDOF 27 0.16667 0.15049 0.11227 0.09503 0.22642 0.21139 0.90453
LDOF 75 0.16667 0.15049 0.13979 0.12309 0.25000 0.23544 0.84628
ODIN 12 0.06667 0.04854 0.09340 0.07580 0.20000 0.18447 0.86597
ODIN 16 0.16667 0.15049 0.09459 0.07701 0.18182 0.16593 0.82551
FastABOD 3 0.16667 0.15049 0.11520 0.09802 0.21739 0.20220 0.89213
FastABOD 4 0.16667 0.15049 0.14877 0.13224 0.22857 0.21359 0.92449
FastABOD 12 0.00000 -0.01942 0.13916 0.12245 0.27586 0.26180 0.92988
FastABOD 14 0.00000 -0.01942 0.14166 0.12499 0.25806 0.24366 0.93150
KDEOS 19 0.16667 0.15049 0.07818 0.06028 0.16667 0.15049 0.83549
KDEOS 49 0.00000 -0.01942 0.10682 0.08948 0.27027 0.25610 0.88889
KDEOS 63 0.00000 -0.01942 0.11692 0.09978 0.26667 0.25243 0.88997
LDF 3 0.16667 0.15049 0.23565 0.22081 0.38710 0.37520 0.95307
INFLO 4 0.16667 0.15049 0.06372 0.04554 0.16667 0.15049 0.75081
INFLO 14 0.16667 0.15049 0.23789 0.22309 0.28571 0.27184 0.88403
INFLO 15 0.16667 0.15049 0.15970 0.14338 0.25000 0.23544 0.89051
COF 6 0.16667 0.15049 0.19893 0.18337 0.25000 0.23544 0.92880
COF 9 0.16667 0.15049 0.22666 0.21165 0.28571 0.27184 0.94121
COF 11 0.16667 0.15049 0.30427 0.29076 0.30769 0.29425 0.93581
COF 12 0.16667 0.15049 0.30629 0.29282 0.30769 0.29425 0.93689

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 9 attributes, 315 objects, 6 outliers (1.90%)

Download raw algorithm results (2.7 MB) Download raw algorithm evaluation table (39.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.16667 0.15049 0.19093 0.17522 0.34483 0.33211 0.94768
KNN 2 0.16667 0.15049 0.19993 0.18439 0.27027 0.25610 0.93042
KNNW 1 0.16667 0.15049 0.21921 0.20405 0.34783 0.33516 0.95847
LOF 3 0.16667 0.15049 0.17707 0.16109 0.25000 0.23544 0.90885
LOF 4 0.16667 0.15049 0.18119 0.16529 0.25532 0.24086 0.92125
LOF 5 0.16667 0.15049 0.24831 0.23372 0.28571 0.27184 0.90183
LOF 11 0.16667 0.15049 0.25974 0.24537 0.28571 0.27184 0.91478
SimplifiedLOF 3 0.16667 0.15049 0.07940 0.06153 0.16667 0.15049 0.76699
SimplifiedLOF 11 0.16667 0.15049 0.25392 0.23943 0.28571 0.27184 0.90992
SimplifiedLOF 13 0.16667 0.15049 0.25425 0.23977 0.28571 0.27184 0.91100
LoOP 6 0.16667 0.15049 0.08701 0.06929 0.16667 0.15049 0.82794
LoOP 13 0.16667 0.15049 0.24701 0.23238 0.28571 0.27184 0.90076
LDOF 11 0.16667 0.15049 0.09498 0.07741 0.16949 0.15337 0.87594
LDOF 31 0.16667 0.15049 0.11385 0.09664 0.23077 0.21583 0.90022
LDOF 86 0.16667 0.15049 0.13685 0.12009 0.25000 0.23544 0.82524
LDOF 97 0.16667 0.15049 0.13752 0.12077 0.25000 0.23544 0.83010
ODIN 11 0.04167 0.02306 0.07638 0.05845 0.15385 0.13742 0.85113
ODIN 16 0.16667 0.15049 0.07447 0.05650 0.16667 0.15049 0.78803
ODIN 99 0.16667 0.15049 0.09055 0.07289 0.20000 0.18447 0.81526
ODIN 100 0.16667 0.15049 0.09099 0.07334 0.20000 0.18447 0.81742
FastABOD 15 0.00000 -0.01942 0.15925 0.14292 0.30769 0.29425 0.94121
FastABOD 16 0.00000 -0.01942 0.16036 0.14406 0.30769 0.29425 0.94175
FastABOD 63 0.16667 0.15049 0.14788 0.13133 0.25000 0.23544 0.93312
KDEOS 3 0.16667 0.15049 0.05071 0.03228 0.18182 0.16593 0.50755
KDEOS 55 0.00000 -0.01942 0.09908 0.08159 0.24390 0.22922 0.88242
LDF 3 0.16667 0.15049 0.20401 0.18855 0.30303 0.28950 0.93743
LDF 7 0.16667 0.15049 0.25234 0.23782 0.28571 0.27184 0.90831
INFLO 4 0.16667 0.15049 0.07479 0.05683 0.18182 0.16593 0.77832
INFLO 13 0.16667 0.15049 0.24243 0.22772 0.28571 0.27184 0.89266
COF 6 0.33333 0.32039 0.24232 0.22761 0.40000 0.38835 0.92233
COF 9 0.33333 0.32039 0.27017 0.25600 0.42857 0.41748 0.92503
COF 10 0.33333 0.32039 0.34135 0.32856 0.35294 0.34038 0.93312
COF 11 0.33333 0.32039 0.33161 0.31864 0.33333 0.32039 0.93635

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO