Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Stamps (5% of outliers version#05)

A data set representing forged (photocopied or scanned+printed) stamps and genuine (ink) stamps. The features are based on color and printing properties of the stamps. Forged stamps are considered to be outliers. The stamps data set is not taken from the UCI repository, but was used in [1].

References:

[1] B. Micenkova, J. van Beusekom, and F. Shafait. Stamp verification for automated document authentication. In 5th Int. Workshop on Computational Forensics, 2012.

Download all data set variants used (371.2 kB).

Normalized, without duplicates

This version contains 9 attributes, 325 objects, 16 outliers (4.92%)

Download raw algorithm results (2.8 MB) Download raw algorithm evaluation table (47.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.25000 0.21117 0.26780 0.22989 0.41509 0.38481 0.92071
KNN 7 0.18750 0.14543 0.24255 0.20333 0.45455 0.42630 0.91323
KNNW 1 0.25000 0.21117 0.18535 0.14317 0.29091 0.25419 0.81058
KNNW 9 0.25000 0.21117 0.25202 0.21329 0.43077 0.40129 0.91606
KNNW 15 0.18750 0.14543 0.24864 0.20974 0.44444 0.41568 0.91626
LOF 3 0.18750 0.14543 0.10113 0.05458 0.23256 0.19282 0.60619
LOF 50 0.18750 0.14543 0.23310 0.19339 0.32184 0.28672 0.86812
LOF 78 0.18750 0.14543 0.21185 0.17104 0.37500 0.34264 0.88471
LOF 100 0.18750 0.14543 0.21237 0.17159 0.35556 0.32219 0.88977
SimplifiedLOF 8 0.18750 0.14543 0.09515 0.04829 0.19355 0.15179 0.64523
SimplifiedLOF 45 0.18750 0.14543 0.22342 0.18321 0.34884 0.31512 0.86610
SimplifiedLOF 46 0.18750 0.14543 0.22534 0.18523 0.34091 0.30678 0.86711
LoOP 8 0.18750 0.14543 0.09020 0.04309 0.19355 0.15179 0.61792
LoOP 39 0.18750 0.14543 0.17595 0.13329 0.32609 0.29119 0.85882
LoOP 46 0.18750 0.14543 0.22109 0.18076 0.31579 0.28036 0.86206
LDOF 2 0.18750 0.14543 0.10994 0.06386 0.22222 0.18195 0.47512
LDOF 46 0.12500 0.07969 0.17659 0.13395 0.31818 0.28288 0.87156
LDOF 47 0.12500 0.07969 0.18017 0.13772 0.32558 0.29066 0.87095
LDOF 81 0.18750 0.14543 0.18547 0.14330 0.31707 0.28171 0.85214
ODIN 17 0.25000 0.21117 0.15459 0.11082 0.25455 0.21595 0.79753
ODIN 35 0.25000 0.21117 0.19439 0.15267 0.30233 0.26620 0.85487
ODIN 47 0.18750 0.14543 0.18511 0.14292 0.33735 0.30304 0.86539
ODIN 58 0.18750 0.14543 0.18848 0.14646 0.34286 0.30883 0.86084
FastABOD 4 0.18750 0.14543 0.17206 0.12919 0.30556 0.26960 0.84426
FastABOD 44 0.18750 0.14543 0.19142 0.14955 0.36111 0.32803 0.87055
FastABOD 57 0.18750 0.14543 0.19544 0.15378 0.36111 0.32803 0.87217
KDEOS 2 0.25000 0.21117 0.13271 0.08780 0.26087 0.22260 0.61853
KDEOS 82 0.12500 0.07969 0.20660 0.16552 0.30303 0.26694 0.83718
KDEOS 88 0.12500 0.07969 0.21724 0.17671 0.31461 0.27912 0.83434
KDEOS 89 0.12500 0.07969 0.22622 0.18615 0.30435 0.26833 0.83252
LDF 3 0.25000 0.21117 0.14009 0.09556 0.32558 0.29066 0.64968
LDF 11 0.12500 0.07969 0.22059 0.18023 0.43077 0.40129 0.90392
LDF 61 0.18750 0.14543 0.25323 0.21456 0.36145 0.32838 0.89361
LDF 95 0.18750 0.14543 0.23681 0.19729 0.41096 0.38046 0.90595
INFLO 6 0.18750 0.14543 0.08524 0.03787 0.18750 0.14543 0.59102
INFLO 54 0.18750 0.14543 0.21049 0.16961 0.29474 0.25822 0.82615
INFLO 84 0.18750 0.14543 0.18538 0.14320 0.32184 0.28672 0.83930
INFLO 100 0.18750 0.14543 0.17401 0.13124 0.32500 0.29005 0.80380
COF 12 0.25000 0.21117 0.20283 0.16155 0.36364 0.33069 0.87237
COF 36 0.18750 0.14543 0.27380 0.23620 0.43750 0.40837 0.90756

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 9 attributes, 325 objects, 16 outliers (4.92%)

Download raw algorithm results (2.8 MB) Download raw algorithm evaluation table (47.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.25000 0.21117 0.28114 0.24392 0.47826 0.45125 0.92435
KNN 13 0.12500 0.07969 0.26445 0.22636 0.46875 0.44124 0.92496
KNNW 1 0.18750 0.14543 0.18560 0.14343 0.30769 0.27184 0.82858
KNNW 8 0.18750 0.14543 0.26639 0.22840 0.43750 0.40837 0.92395
KNNW 15 0.12500 0.07969 0.26300 0.22484 0.48276 0.45598 0.92375
KNNW 16 0.12500 0.07969 0.26359 0.22546 0.48276 0.45598 0.92415
LOF 3 0.18750 0.14543 0.12593 0.08067 0.23529 0.19570 0.65473
LOF 97 0.12500 0.07969 0.21706 0.17652 0.37143 0.33888 0.88329
LOF 100 0.12500 0.07969 0.21851 0.17804 0.36923 0.33657 0.88410
SimplifiedLOF 5 0.18750 0.14543 0.09246 0.04547 0.18750 0.14543 0.58920
SimplifiedLOF 39 0.12500 0.07969 0.21044 0.16956 0.32258 0.28750 0.85477
SimplifiedLOF 45 0.12500 0.07969 0.20575 0.16462 0.32609 0.29119 0.84689
LoOP 8 0.18750 0.14543 0.09953 0.05291 0.19355 0.15179 0.62692
LoOP 42 0.12500 0.07969 0.20763 0.16660 0.30928 0.27351 0.85053
LoOP 45 0.12500 0.07969 0.17449 0.13174 0.32258 0.28750 0.84527
LDOF 3 0.12500 0.07969 0.06322 0.01471 0.17647 0.13383 0.47755
LDOF 42 0.12500 0.07969 0.15308 0.10923 0.31461 0.27912 0.85316
LDOF 51 0.12500 0.07969 0.15236 0.10847 0.31818 0.28288 0.84992
LDOF 93 0.12500 0.07969 0.17094 0.12801 0.30769 0.27184 0.83637
ODIN 17 0.18750 0.14543 0.12829 0.08315 0.22222 0.18195 0.77569
ODIN 49 0.12500 0.07969 0.15996 0.11646 0.30588 0.26994 0.83930
ODIN 53 0.12500 0.07969 0.15846 0.11489 0.31707 0.28171 0.83404
ODIN 55 0.12500 0.07969 0.16068 0.11723 0.30137 0.26519 0.83445
FastABOD 3 0.18750 0.14543 0.17471 0.13197 0.29851 0.26218 0.81412
FastABOD 49 0.12500 0.07969 0.20782 0.16680 0.38235 0.35037 0.88653
FastABOD 63 0.12500 0.07969 0.20998 0.16907 0.38235 0.35037 0.88653
FastABOD 100 0.12500 0.07969 0.20501 0.16384 0.38806 0.35637 0.88471
KDEOS 54 0.12500 0.07969 0.15435 0.11056 0.24096 0.20166 0.81189
KDEOS 56 0.18750 0.14543 0.14681 0.10263 0.23529 0.19570 0.81331
KDEOS 82 0.06250 0.01396 0.13557 0.09081 0.30303 0.26694 0.82464
KDEOS 91 0.06250 0.01396 0.12917 0.08407 0.31915 0.28389 0.81877
LDF 3 0.25000 0.21117 0.14704 0.10287 0.29167 0.25499 0.66566
LDF 60 0.12500 0.07969 0.26862 0.23074 0.37288 0.34041 0.89179
LDF 80 0.12500 0.07969 0.25547 0.21692 0.44444 0.41568 0.91121
LDF 95 0.12500 0.07969 0.26010 0.22179 0.44068 0.41172 0.91262
INFLO 6 0.18750 0.14543 0.09962 0.05300 0.19355 0.15179 0.60538
INFLO 29 0.12500 0.07969 0.15741 0.11379 0.24561 0.20655 0.81695
INFLO 42 0.12500 0.07969 0.18678 0.14467 0.26923 0.23139 0.80239
INFLO 95 0.12500 0.07969 0.17362 0.13083 0.31884 0.28357 0.79773
COF 11 0.31250 0.27690 0.21328 0.17254 0.37209 0.33958 0.81978
COF 18 0.18750 0.14543 0.21107 0.17022 0.35616 0.32283 0.89219
COF 34 0.18750 0.14543 0.24702 0.20803 0.41935 0.38929 0.88208
COF 51 0.25000 0.21117 0.23341 0.19372 0.42105 0.39107 0.82868

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO