Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Stamps (2% of outliers version#10)

A data set representing forged (photocopied or scanned+printed) stamps and genuine (ink) stamps. The features are based on color and printing properties of the stamps. Forged stamps are considered to be outliers. The stamps data set is not taken from the UCI repository, but was used in [1].

References:

[1] B. Micenkova, J. van Beusekom, and F. Shafait. Stamp verification for automated document authentication. In 5th Int. Workshop on Computational Forensics, 2012.

Download all data set variants used (371.2 kB).

Normalized, without duplicates

This version contains 9 attributes, 315 objects, 6 outliers (1.90%)

Download raw algorithm results (2.7 MB) Download raw algorithm evaluation table (39.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.16667 0.15049 0.19849 0.18293 0.38710 0.37520 0.95604
KNNW 1 0.16667 0.15049 0.22196 0.20686 0.42857 0.41748 0.96170
LOF 1 0.16667 0.15049 0.08497 0.06720 0.26667 0.25243 0.67503
LOF 4 0.16667 0.15049 0.14771 0.13116 0.22222 0.20712 0.91316
SimplifiedLOF 3 0.16667 0.15049 0.10083 0.08337 0.23529 0.22045 0.74595
SimplifiedLOF 6 0.16667 0.15049 0.11881 0.10170 0.21277 0.19748 0.90992
SimplifiedLOF 26 0.00000 -0.01942 0.10707 0.08973 0.25532 0.24086 0.91208
LoOP 3 0.16667 0.15049 0.22475 0.20970 0.28571 0.27184 0.72330
LoOP 26 0.00000 -0.01942 0.10800 0.09068 0.24490 0.23024 0.91046
LDOF 3 0.16667 0.15049 0.11336 0.09614 0.25000 0.23544 0.64455
LDOF 4 0.16667 0.15049 0.20409 0.18863 0.28571 0.27184 0.69525
LDOF 37 0.00000 -0.01942 0.10231 0.08488 0.25000 0.23544 0.90723
ODIN 32 0.00000 -0.01942 0.12119 0.10413 0.23529 0.22045 0.91505
ODIN 33 0.00000 -0.01942 0.11982 0.10273 0.23077 0.21583 0.91586
ODIN 50 0.16667 0.15049 0.09926 0.08177 0.19231 0.17662 0.87190
FastABOD 3 0.16667 0.15049 0.19221 0.17653 0.30769 0.29425 0.94498
FastABOD 4 0.00000 -0.01942 0.20273 0.18725 0.36364 0.35128 0.95685
FastABOD 6 0.00000 -0.01942 0.18032 0.16440 0.37500 0.36286 0.95200
KDEOS 3 0.16667 0.15049 0.05988 0.04162 0.20000 0.18447 0.50755
KDEOS 68 0.00000 -0.01942 0.12631 0.10935 0.26087 0.24652 0.92179
KDEOS 71 0.00000 -0.01942 0.12895 0.11203 0.24390 0.22922 0.92287
KDEOS 72 0.00000 -0.01942 0.12734 0.11039 0.25641 0.24197 0.92341
LDF 2 0.16667 0.15049 0.15237 0.13591 0.28571 0.27184 0.87325
LDF 3 0.16667 0.15049 0.19227 0.17659 0.33333 0.32039 0.94175
INFLO 1 0.16667 0.15049 0.09603 0.07847 0.22222 0.20712 0.66640
INFLO 4 0.16667 0.15049 0.21403 0.19877 0.28571 0.27184 0.73679
INFLO 24 0.00000 -0.01942 0.10303 0.08561 0.20513 0.18969 0.90129
COF 2 0.16667 0.15049 0.07141 0.05338 0.20000 0.18447 0.60572
COF 7 0.16667 0.15049 0.28650 0.27265 0.28571 0.27184 0.93204
COF 15 0.16667 0.15049 0.15922 0.14290 0.27273 0.25861 0.93743
COF 22 0.16667 0.15049 0.18468 0.16884 0.29630 0.28263 0.93743

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 9 attributes, 315 objects, 6 outliers (1.90%)

Download raw algorithm results (2.7 MB) Download raw algorithm evaluation table (39.2 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.16667 0.15049 0.21000 0.19466 0.38710 0.37520 0.95766
KNNW 1 0.16667 0.15049 0.23401 0.21913 0.46154 0.45108 0.96386
LOF 1 0.16667 0.15049 0.08760 0.06989 0.21053 0.19520 0.67233
LOF 2 0.16667 0.15049 0.15902 0.14269 0.26667 0.25243 0.70011
LOF 4 0.16667 0.15049 0.17595 0.15994 0.25000 0.23544 0.91586
SimplifiedLOF 3 0.16667 0.15049 0.13076 0.11389 0.26667 0.25243 0.76645
SimplifiedLOF 26 0.16667 0.15049 0.11764 0.10050 0.22222 0.20712 0.90885
LoOP 2 0.16667 0.15049 0.07889 0.06101 0.18182 0.16593 0.64239
LoOP 3 0.16667 0.15049 0.22722 0.21221 0.28571 0.27184 0.72843
LoOP 36 0.00000 -0.01942 0.10991 0.09263 0.21739 0.20220 0.90345
LDOF 3 0.16667 0.15049 0.19733 0.18174 0.28571 0.27184 0.64186
LDOF 4 0.16667 0.15049 0.20809 0.19271 0.28571 0.27184 0.68716
LDOF 37 0.00000 -0.01942 0.11189 0.09464 0.20408 0.18863 0.90399
ODIN 32 0.00000 -0.01942 0.10469 0.08730 0.21622 0.20100 0.90588
ODIN 36 0.00000 -0.01942 0.10171 0.08427 0.22222 0.20712 0.90723
ODIN 38 0.00000 -0.01942 0.09726 0.07973 0.22857 0.21359 0.89752
ODIN 82 0.16667 0.15049 0.09924 0.08175 0.20408 0.18863 0.86057
FastABOD 3 0.16667 0.15049 0.23561 0.22076 0.40000 0.38835 0.95577
FastABOD 4 0.16667 0.15049 0.22570 0.21066 0.42105 0.40981 0.95955
KDEOS 3 0.16667 0.15049 0.08307 0.06526 0.20000 0.18447 0.63484
KDEOS 55 0.00000 -0.01942 0.12025 0.10316 0.24490 0.23024 0.92125
KDEOS 57 0.00000 -0.01942 0.12170 0.10465 0.24000 0.22524 0.92125
KDEOS 59 0.00000 -0.01942 0.11450 0.09731 0.25000 0.23544 0.91748
LDF 2 0.16667 0.15049 0.15727 0.14091 0.26667 0.25243 0.88943
LDF 3 0.16667 0.15049 0.22333 0.20824 0.30769 0.29425 0.93743
INFLO 1 0.16667 0.15049 0.07629 0.05835 0.20000 0.18447 0.69849
INFLO 4 0.16667 0.15049 0.21793 0.20274 0.28571 0.27184 0.75458
INFLO 21 0.00000 -0.01942 0.10397 0.08657 0.19512 0.17949 0.89644
COF 2 0.16667 0.15049 0.09594 0.07838 0.22222 0.20712 0.67044
COF 8 0.16667 0.15049 0.28989 0.27610 0.30769 0.29425 0.92988
COF 10 0.16667 0.15049 0.22198 0.20687 0.47059 0.46031 0.92395
COF 28 0.16667 0.15049 0.18085 0.16495 0.29268 0.27895 0.93905

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO