Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Stamps (5% of outliers version#02)

A data set representing forged (photocopied or scanned+printed) stamps and genuine (ink) stamps. The features are based on color and printing properties of the stamps. Forged stamps are considered to be outliers. The stamps data set is not taken from the UCI repository, but was used in [1].

References:

[1] B. Micenkova, J. van Beusekom, and F. Shafait. Stamp verification for automated document authentication. In 5th Int. Workshop on Computational Forensics, 2012.

Download all data set variants used (371.2 kB).

Normalized, without duplicates

This version contains 9 attributes, 325 objects, 16 outliers (4.92%)

Download raw algorithm results (2.8 MB) Download raw algorithm evaluation table (49.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.18750 0.14543 0.21944 0.17902 0.36364 0.33069 0.87439
KNN 4 0.06250 0.01396 0.23551 0.19593 0.42667 0.39698 0.91464
KNN 6 0.06250 0.01396 0.22820 0.18824 0.46154 0.43366 0.91040
KNNW 1 0.25000 0.21117 0.21599 0.17539 0.39216 0.36068 0.81644
KNNW 5 0.25000 0.21117 0.23583 0.19626 0.37500 0.34264 0.90696
KNNW 7 0.18750 0.14543 0.23343 0.19374 0.42667 0.39698 0.91060
KNNW 24 0.06250 0.01396 0.21999 0.17960 0.46154 0.43366 0.90655
LOF 1 0.18750 0.14543 0.09831 0.05162 0.22857 0.18863 0.52913
LOF 20 0.12500 0.07969 0.20493 0.16376 0.28889 0.25207 0.85012
LOF 22 0.12500 0.07969 0.20165 0.16031 0.30233 0.26620 0.84446
SimplifiedLOF 4 0.18750 0.14543 0.11255 0.06660 0.20408 0.16287 0.58313
SimplifiedLOF 26 0.12500 0.07969 0.19087 0.14897 0.28829 0.25144 0.82848
LoOP 6 0.18750 0.14543 0.15629 0.11261 0.19355 0.15179 0.59972
LoOP 42 0.12500 0.07969 0.18436 0.14213 0.27723 0.23980 0.81796
LoOP 45 0.12500 0.07969 0.18480 0.14259 0.26923 0.23139 0.81655
LoOP 49 0.12500 0.07969 0.18225 0.13991 0.28283 0.24569 0.81210
LDOF 7 0.18750 0.14543 0.09431 0.04741 0.18750 0.14543 0.62237
LDOF 44 0.12500 0.07969 0.19350 0.15174 0.29358 0.25700 0.84082
LDOF 61 0.12500 0.07969 0.18883 0.14683 0.29787 0.26152 0.82747
ODIN 13 0.18750 0.14543 0.13089 0.08589 0.19355 0.15179 0.73028
ODIN 35 0.12500 0.07969 0.16805 0.12498 0.27273 0.23507 0.82888
ODIN 36 0.12500 0.07969 0.19493 0.15324 0.26000 0.22168 0.82261
ODIN 52 0.12500 0.07969 0.19052 0.14861 0.29885 0.26255 0.80785
FastABOD 3 0.25000 0.21117 0.18556 0.14339 0.27778 0.24038 0.77104
FastABOD 24 0.18750 0.14543 0.20731 0.16626 0.31111 0.27544 0.86023
FastABOD 34 0.12500 0.07969 0.20486 0.16368 0.33333 0.29881 0.86489
FastABOD 75 0.12500 0.07969 0.20383 0.16260 0.32836 0.29358 0.86994
KDEOS 59 0.25000 0.21117 0.14850 0.10441 0.26316 0.22500 0.80926
KDEOS 65 0.18750 0.14543 0.15989 0.11639 0.28571 0.24873 0.81715
KDEOS 86 0.18750 0.14543 0.26096 0.22269 0.27957 0.24227 0.82929
LDF 1 0.18750 0.14543 0.12252 0.07709 0.22222 0.18195 0.54167
LDF 10 0.12500 0.07969 0.22578 0.18569 0.33333 0.29881 0.87783
LDF 11 0.12500 0.07969 0.22758 0.18759 0.36585 0.33302 0.87783
INFLO 1 0.18750 0.14543 0.10444 0.05807 0.23077 0.19094 0.50627
INFLO 29 0.12500 0.07969 0.16672 0.12357 0.22951 0.18961 0.76800
INFLO 91 0.12500 0.07969 0.16756 0.12446 0.25287 0.21419 0.73827
INFLO 100 0.06250 0.01396 0.16748 0.12437 0.26966 0.23185 0.74140
COF 7 0.25000 0.21117 0.16571 0.12251 0.29630 0.25986 0.69357
COF 27 0.12500 0.07969 0.25826 0.21985 0.36585 0.33302 0.88248
COF 31 0.12500 0.07969 0.25160 0.21285 0.37975 0.34763 0.86913

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 9 attributes, 325 objects, 16 outliers (4.92%)

Download raw algorithm results (2.8 MB) Download raw algorithm evaluation table (48.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.25000 0.21117 0.22134 0.18102 0.38298 0.35103 0.87348
KNN 2 0.18750 0.14543 0.23158 0.19179 0.40000 0.36893 0.90655
KNN 6 0.06250 0.01396 0.22623 0.18617 0.44776 0.41917 0.90979
KNN 12 0.06250 0.01396 0.22051 0.18015 0.46154 0.43366 0.90655
KNNW 1 0.25000 0.21117 0.21306 0.17232 0.38462 0.35275 0.81705
KNNW 5 0.18750 0.14543 0.23096 0.19114 0.35556 0.32219 0.90392
KNNW 23 0.06250 0.01396 0.22373 0.18353 0.45455 0.42630 0.90878
KNNW 25 0.06250 0.01396 0.22498 0.18485 0.45455 0.42630 0.90939
LOF 1 0.18750 0.14543 0.13525 0.09047 0.25000 0.21117 0.51214
LOF 96 0.06250 0.01396 0.20481 0.16364 0.32432 0.28934 0.85316
LOF 100 0.06250 0.01396 0.20631 0.16521 0.32432 0.28934 0.85518
SimplifiedLOF 4 0.18750 0.14543 0.12274 0.07732 0.20290 0.16162 0.58515
SimplifiedLOF 31 0.12500 0.07969 0.18399 0.14173 0.25600 0.21748 0.81857
SimplifiedLOF 40 0.12500 0.07969 0.18420 0.14196 0.25000 0.21117 0.81776
SimplifiedLOF 43 0.12500 0.07969 0.18133 0.13894 0.26667 0.22869 0.81392
LoOP 9 0.18750 0.14543 0.12435 0.07900 0.19355 0.15179 0.63289
LoOP 42 0.12500 0.07969 0.18111 0.13871 0.25243 0.21372 0.81250
LoOP 43 0.12500 0.07969 0.18085 0.13843 0.26667 0.22869 0.81129
LDOF 3 0.12500 0.07969 0.07111 0.02301 0.15385 0.11003 0.57423
LDOF 47 0.12500 0.07969 0.18636 0.14423 0.27350 0.23589 0.82585
LDOF 48 0.12500 0.07969 0.18789 0.14584 0.27350 0.23589 0.82909
ODIN 13 0.16250 0.11913 0.10881 0.06267 0.17699 0.13438 0.71865
ODIN 33 0.12500 0.07969 0.16075 0.11730 0.26316 0.22500 0.82767
ODIN 38 0.12500 0.07969 0.19393 0.15219 0.26316 0.22500 0.81624
ODIN 48 0.12500 0.07969 0.19036 0.14844 0.29213 0.25548 0.80461
FastABOD 9 0.25000 0.21117 0.19440 0.15269 0.30000 0.26375 0.83414
FastABOD 75 0.12500 0.07969 0.20372 0.16249 0.31884 0.28357 0.86974
FastABOD 77 0.12500 0.07969 0.20406 0.16285 0.31884 0.28357 0.87035
KDEOS 64 0.25000 0.21117 0.15174 0.10781 0.27027 0.23248 0.80522
KDEOS 72 0.18750 0.14543 0.19604 0.15442 0.28571 0.24873 0.81189
KDEOS 83 0.18750 0.14543 0.26447 0.22639 0.27273 0.23507 0.81614
KDEOS 89 0.18750 0.14543 0.20391 0.16269 0.27451 0.23694 0.81958
LDF 1 0.18750 0.14543 0.19762 0.15607 0.23077 0.19094 0.52710
LDF 85 0.06250 0.01396 0.24480 0.20570 0.39394 0.36256 0.89300
LDF 86 0.06250 0.01396 0.24410 0.20496 0.40000 0.36893 0.89260
LDF 100 0.06250 0.01396 0.21706 0.17651 0.39394 0.36256 0.89523
INFLO 1 0.18750 0.14543 0.11929 0.07369 0.24000 0.20065 0.51557
INFLO 22 0.12500 0.07969 0.16336 0.12004 0.20513 0.16397 0.77063
INFLO 98 0.12500 0.07969 0.17350 0.13070 0.26966 0.23185 0.74889
INFLO 99 0.12500 0.07969 0.17336 0.13056 0.27586 0.23837 0.74869
COF 10 0.31250 0.27690 0.18169 0.13931 0.32000 0.28479 0.71400
COF 29 0.12500 0.07969 0.24375 0.20459 0.33846 0.30421 0.86226
COF 30 0.12500 0.07969 0.24149 0.20221 0.35714 0.32386 0.85862

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO