Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Stamps (2% of outliers version#04)

A data set representing forged (photocopied or scanned+printed) stamps and genuine (ink) stamps. The features are based on color and printing properties of the stamps. Forged stamps are considered to be outliers. The stamps data set is not taken from the UCI repository, but was used in [1].

References:

[1] B. Micenkova, J. van Beusekom, and F. Shafait. Stamp verification for automated document authentication. In 5th Int. Workshop on Computational Forensics, 2012.

Download all data set variants used (371.2 kB).

Normalized, without duplicates

This version contains 9 attributes, 315 objects, 6 outliers (1.90%)

Download raw algorithm results (2.7 MB) Download raw algorithm evaluation table (37.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.16667 0.15049 0.16810 0.15195 0.32432 0.31120 0.93770
KNN 2 0.16667 0.15049 0.17287 0.15681 0.31579 0.30250 0.93528
KNNW 1 0.16667 0.15049 0.11948 0.10238 0.21622 0.20100 0.87567
KNNW 4 0.16667 0.15049 0.15213 0.13567 0.27907 0.26507 0.92988
KNNW 6 0.16667 0.15049 0.15863 0.14230 0.27907 0.26507 0.92503
KNNW 52 0.16667 0.15049 0.15408 0.13766 0.28571 0.27184 0.92017
LOF 3 0.16667 0.15049 0.10936 0.09207 0.25000 0.23544 0.57497
LOF 5 0.16667 0.15049 0.21142 0.19611 0.28571 0.27184 0.79612
LOF 21 0.16667 0.15049 0.24760 0.23299 0.28571 0.27184 0.90291
LOF 97 0.16667 0.15049 0.16650 0.15032 0.25000 0.23544 0.90507
SimplifiedLOF 4 0.16667 0.15049 0.06555 0.04741 0.20000 0.18447 0.57875
SimplifiedLOF 10 0.16667 0.15049 0.21275 0.19746 0.28571 0.27184 0.81877
SimplifiedLOF 27 0.16667 0.15049 0.25029 0.23573 0.28571 0.27184 0.90615
LoOP 6 0.16667 0.15049 0.05274 0.03434 0.16667 0.15049 0.61974
LoOP 27 0.16667 0.15049 0.12400 0.10699 0.23077 0.21583 0.90345
LoOP 31 0.16667 0.15049 0.24251 0.22780 0.28571 0.27184 0.89590
LoOP 34 0.16667 0.15049 0.24794 0.23333 0.28571 0.27184 0.90345
LDOF 10 0.16667 0.15049 0.06347 0.04529 0.18182 0.16593 0.71953
LDOF 38 0.16667 0.15049 0.11583 0.09866 0.22222 0.20712 0.90291
LDOF 74 0.16667 0.15049 0.15713 0.14076 0.25000 0.23544 0.89105
LDOF 100 0.16667 0.15049 0.16098 0.14469 0.25000 0.23544 0.89806
ODIN 16 0.16667 0.15049 0.08441 0.06663 0.16667 0.15049 0.85302
ODIN 34 0.16667 0.15049 0.11468 0.09749 0.23529 0.22045 0.90723
ODIN 37 0.16667 0.15049 0.11899 0.10188 0.22222 0.20712 0.91208
ODIN 40 0.16667 0.15049 0.12087 0.10380 0.22222 0.20712 0.90129
FastABOD 3 0.00000 -0.01942 0.06410 0.04593 0.14493 0.12832 0.84035
FastABOD 12 0.00000 -0.01942 0.13662 0.11985 0.26667 0.25243 0.93258
FastABOD 14 0.00000 -0.01942 0.13510 0.11831 0.27907 0.26507 0.93042
FastABOD 26 0.00000 -0.01942 0.13979 0.12309 0.27273 0.25861 0.93204
KDEOS 3 0.16667 0.15049 0.05591 0.03758 0.20000 0.18447 0.39536
KDEOS 91 0.00000 -0.01942 0.09431 0.07672 0.21429 0.19903 0.89860
KDEOS 92 0.00000 -0.01942 0.09486 0.07728 0.20000 0.18447 0.89806
LDF 3 0.16667 0.15049 0.14835 0.13182 0.25000 0.23544 0.77508
LDF 20 0.16667 0.15049 0.23862 0.22384 0.28571 0.27184 0.88943
LDF 58 0.16667 0.15049 0.24139 0.22666 0.28571 0.27184 0.89374
LDF 95 0.16667 0.15049 0.17554 0.15953 0.25000 0.23544 0.91586
INFLO 5 0.16667 0.15049 0.06229 0.04408 0.20000 0.18447 0.56203
INFLO 7 0.16667 0.15049 0.19546 0.17984 0.28571 0.27184 0.70712
INFLO 28 0.16667 0.15049 0.23646 0.22164 0.28571 0.27184 0.88511
INFLO 100 0.16667 0.15049 0.16907 0.15294 0.25000 0.23544 0.90831
COF 5 0.16667 0.15049 0.08130 0.06346 0.20000 0.18447 0.73193
COF 87 0.16667 0.15049 0.37932 0.36727 0.48000 0.46990 0.96980
COF 99 0.16667 0.15049 0.33516 0.32225 0.54545 0.53663 0.97573

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 9 attributes, 315 objects, 6 outliers (1.90%)

Download raw algorithm results (2.7 MB) Download raw algorithm evaluation table (37.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.16667 0.15049 0.18804 0.17227 0.37500 0.36286 0.94741
KNN 2 0.16667 0.15049 0.21269 0.19740 0.30000 0.28641 0.94283
KNN 3 0.16667 0.15049 0.19677 0.18117 0.35294 0.34038 0.94768
KNNW 1 0.16667 0.15049 0.14010 0.12340 0.25000 0.23544 0.89186
KNNW 6 0.16667 0.15049 0.18832 0.17256 0.31579 0.30250 0.94391
KNNW 42 0.16667 0.15049 0.17591 0.15990 0.33333 0.32039 0.93635
LOF 3 0.16667 0.15049 0.11996 0.10287 0.25000 0.23544 0.58198
LOF 5 0.16667 0.15049 0.21525 0.20001 0.28571 0.27184 0.80906
LOF 19 0.16667 0.15049 0.25101 0.23647 0.28571 0.27184 0.90723
LOF 97 0.16667 0.15049 0.18078 0.16487 0.25000 0.23544 0.92071
SimplifiedLOF 4 0.16667 0.15049 0.10707 0.08973 0.25000 0.23544 0.55663
SimplifiedLOF 9 0.16667 0.15049 0.21017 0.19483 0.28571 0.27184 0.80421
SimplifiedLOF 31 0.16667 0.15049 0.24897 0.23439 0.28571 0.27184 0.90453
LoOP 6 0.16667 0.15049 0.06909 0.05102 0.20000 0.18447 0.64159
LoOP 11 0.16667 0.15049 0.20901 0.19366 0.28571 0.27184 0.80367
LoOP 38 0.16667 0.15049 0.24412 0.22945 0.28571 0.27184 0.89806
LoOP 99 0.16667 0.15049 0.16624 0.15005 0.25000 0.23544 0.90507
LDOF 11 0.16667 0.15049 0.05819 0.03990 0.16667 0.15049 0.71683
LDOF 83 0.16667 0.15049 0.16334 0.14709 0.25000 0.23544 0.90076
LDOF 89 0.16667 0.15049 0.16682 0.15065 0.25000 0.23544 0.90561
ODIN 16 0.16667 0.15049 0.08572 0.06797 0.16667 0.15049 0.85653
ODIN 34 0.12500 0.10801 0.12190 0.10485 0.24490 0.23024 0.91478
ODIN 35 0.12500 0.10801 0.12336 0.10634 0.23077 0.21583 0.91828
ODIN 36 0.12500 0.10801 0.12501 0.10802 0.22222 0.20712 0.91505
FastABOD 15 0.00000 -0.01942 0.16304 0.14679 0.33333 0.32039 0.94552
FastABOD 68 0.16667 0.15049 0.17341 0.15736 0.29630 0.28263 0.94660
FastABOD 70 0.16667 0.15049 0.17451 0.15849 0.30303 0.28950 0.94714
FastABOD 83 0.16667 0.15049 0.17505 0.15903 0.29630 0.28263 0.94714
KDEOS 2 0.00000 -0.01942 0.02572 0.00680 0.09524 0.07767 0.45065
KDEOS 55 0.00000 -0.01942 0.09280 0.07519 0.23256 0.21766 0.89374
KDEOS 95 0.00000 -0.01942 0.09784 0.08032 0.22727 0.21227 0.90076
LDF 3 0.16667 0.15049 0.14996 0.13346 0.25000 0.23544 0.77616
LDF 10 0.16667 0.15049 0.26540 0.25114 0.28571 0.27184 0.92233
LDF 76 0.16667 0.15049 0.20017 0.18464 0.31579 0.30250 0.93528
LDF 96 0.16667 0.15049 0.20200 0.18650 0.30000 0.28641 0.93689
INFLO 4 0.16667 0.15049 0.05082 0.03239 0.18182 0.16593 0.49515
INFLO 7 0.16667 0.15049 0.19793 0.18235 0.28571 0.27184 0.73139
INFLO 41 0.16667 0.15049 0.23815 0.22336 0.28571 0.27184 0.88889
INFLO 100 0.16667 0.15049 0.17373 0.15769 0.25000 0.23544 0.91316
COF 26 0.33333 0.32039 0.38940 0.37754 0.41667 0.40534 0.96872
COF 32 0.16667 0.15049 0.42010 0.40884 0.48000 0.46990 0.97465
COF 97 0.16667 0.15049 0.40853 0.39704 0.52174 0.51245 0.97465
COF 99 0.16667 0.15049 0.41406 0.40268 0.48000 0.46990 0.97519

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO