Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Stamps (2% of outliers version#03)

A data set representing forged (photocopied or scanned+printed) stamps and genuine (ink) stamps. The features are based on color and printing properties of the stamps. Forged stamps are considered to be outliers. The stamps data set is not taken from the UCI repository, but was used in [1].

References:

[1] B. Micenkova, J. van Beusekom, and F. Shafait. Stamp verification for automated document authentication. In 5th Int. Workshop on Computational Forensics, 2012.

Download all data set variants used (371.2 kB).

Normalized, without duplicates

This version contains 9 attributes, 315 objects, 6 outliers (1.90%)

Download raw algorithm results (2.8 MB) Download raw algorithm evaluation table (39.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.00000 -0.01942 0.12273 0.10570 0.25000 0.23544 0.88242
KNN 2 0.00000 -0.01942 0.14357 0.12694 0.30000 0.28641 0.93635
KNN 3 0.00000 -0.01942 0.14403 0.12741 0.31579 0.30250 0.93528
KNNW 1 0.16667 0.15049 0.11337 0.09616 0.25000 0.23544 0.79773
KNNW 2 0.16667 0.15049 0.12093 0.10386 0.26667 0.25243 0.85761
KNNW 5 0.00000 -0.01942 0.13770 0.12095 0.23529 0.22045 0.92503
KNNW 6 0.00000 -0.01942 0.13450 0.11769 0.25000 0.23544 0.92611
LOF 1 0.00000 -0.01942 0.05693 0.03862 0.17391 0.15787 0.59115
LOF 20 0.00000 -0.01942 0.11547 0.09829 0.23529 0.22045 0.91640
LOF 24 0.00000 -0.01942 0.11498 0.09779 0.27273 0.25861 0.91855
SimplifiedLOF 1 0.16667 0.15049 0.08842 0.07072 0.22222 0.20712 0.63916
SimplifiedLOF 37 0.00000 -0.01942 0.10709 0.08975 0.23529 0.22045 0.90992
SimplifiedLOF 47 0.00000 -0.01942 0.10942 0.09212 0.22642 0.21139 0.91100
SimplifiedLOF 54 0.00000 -0.01942 0.10965 0.09237 0.21053 0.19520 0.90992
LoOP 1 0.16667 0.15049 0.08831 0.07061 0.22222 0.20712 0.63592
LoOP 37 0.00000 -0.01942 0.10882 0.09152 0.23077 0.21583 0.91154
LoOP 47 0.00000 -0.01942 0.11162 0.09437 0.21429 0.19903 0.91262
LDOF 3 0.33333 0.32039 0.20586 0.19044 0.44444 0.43366 0.44984
LDOF 47 0.00000 -0.01942 0.10326 0.08585 0.21053 0.19520 0.90399
ODIN 28 0.00000 -0.01942 0.12717 0.11022 0.23529 0.22045 0.92826
ODIN 32 0.16667 0.15049 0.13510 0.11831 0.24000 0.22524 0.92530
ODIN 36 0.05556 0.03722 0.12974 0.11284 0.26087 0.24652 0.92611
FastABOD 3 0.16667 0.15049 0.13365 0.11683 0.30769 0.29425 0.77077
FastABOD 83 0.16667 0.15049 0.11053 0.09326 0.25000 0.23544 0.86192
KDEOS 82 0.16667 0.15049 0.34121 0.32842 0.35294 0.34038 0.95631
KDEOS 84 0.16667 0.15049 0.34169 0.32891 0.31579 0.30250 0.95469
KDEOS 86 0.33333 0.32039 0.33642 0.32353 0.33333 0.32039 0.94391
KDEOS 89 0.33333 0.32039 0.31469 0.30138 0.44444 0.43366 0.94498
LDF 9 0.00000 -0.01942 0.10751 0.09018 0.26667 0.25243 0.91262
LDF 12 0.16667 0.15049 0.12663 0.10967 0.25000 0.23544 0.91532
LDF 33 0.16667 0.15049 0.13082 0.11394 0.25806 0.24366 0.91909
INFLO 1 0.16667 0.15049 0.07504 0.05708 0.20000 0.18447 0.58279
INFLO 23 0.00000 -0.01942 0.11204 0.09480 0.23810 0.22330 0.91532
INFLO 48 0.00000 -0.01942 0.11462 0.09743 0.23810 0.22330 0.91262
INFLO 51 0.00000 -0.01942 0.11127 0.09401 0.24390 0.22922 0.90992
COF 1 0.16667 0.15049 0.08844 0.07074 0.22222 0.20712 0.63916
COF 40 0.16667 0.15049 0.14477 0.12816 0.24390 0.22922 0.92017
COF 41 0.16667 0.15049 0.14329 0.12666 0.23529 0.22045 0.92125
COF 48 0.16667 0.15049 0.13376 0.11694 0.25641 0.24197 0.90022

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 9 attributes, 315 objects, 6 outliers (1.90%)

Download raw algorithm results (2.7 MB) Download raw algorithm evaluation table (42.2 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.00000 -0.01942 0.09049 0.07283 0.21429 0.19903 0.86570
KNN 3 0.00000 -0.01942 0.14984 0.13333 0.34286 0.33010 0.93689
KNNW 1 0.00000 -0.01942 0.08661 0.06888 0.23077 0.21583 0.79989
KNNW 6 0.00000 -0.01942 0.12676 0.10980 0.27778 0.26375 0.92772
KNNW 8 0.00000 -0.01942 0.12495 0.10796 0.29268 0.27895 0.92665
LOF 1 0.16667 0.15049 0.05303 0.03464 0.18182 0.16593 0.54369
LOF 3 0.16667 0.15049 0.13446 0.11765 0.25000 0.23544 0.82255
LOF 18 0.00000 -0.01942 0.09102 0.07337 0.21739 0.20220 0.89213
SimplifiedLOF 5 0.16667 0.15049 0.06876 0.05067 0.16667 0.15049 0.72006
SimplifiedLOF 24 0.00000 -0.01942 0.09167 0.07403 0.21053 0.19520 0.89536
LoOP 2 0.16667 0.15049 0.07351 0.05552 0.19048 0.17476 0.62945
LoOP 4 0.16667 0.15049 0.09184 0.07421 0.22222 0.20712 0.63862
LoOP 23 0.00000 -0.01942 0.08956 0.07188 0.21429 0.19903 0.89213
LDOF 4 0.00000 -0.01942 0.06868 0.05060 0.23529 0.22045 0.52319
LDOF 5 0.16667 0.15049 0.10200 0.08456 0.22222 0.20712 0.62136
LDOF 6 0.16667 0.15049 0.10679 0.08945 0.22222 0.20712 0.70173
LDOF 27 0.00000 -0.01942 0.08343 0.06563 0.18868 0.17293 0.88350
ODIN 5 0.20000 0.18447 0.09279 0.07517 0.25000 0.23544 0.76645
ODIN 27 0.00000 -0.01942 0.09257 0.07495 0.20408 0.18863 0.90129
ODIN 29 0.00000 -0.01942 0.09959 0.08210 0.20000 0.18447 0.90049
FastABOD 3 0.00000 -0.01942 0.07710 0.05918 0.23529 0.22045 0.74649
FastABOD 4 0.16667 0.15049 0.08888 0.07119 0.19048 0.17476 0.81446
FastABOD 5 0.16667 0.15049 0.09983 0.08235 0.23529 0.22045 0.82848
FastABOD 88 0.00000 -0.01942 0.07856 0.06067 0.16327 0.14702 0.85976
KDEOS 3 0.16667 0.15049 0.08941 0.07173 0.20000 0.18447 0.61704
KDEOS 8 0.16667 0.15049 0.20231 0.18682 0.28571 0.27184 0.66775
KDEOS 87 0.00000 -0.01942 0.13201 0.11515 0.29268 0.27895 0.93096
KDEOS 95 0.00000 -0.01942 0.13747 0.12072 0.26667 0.25243 0.93258
LDF 1 0.16667 0.15049 0.10418 0.08679 0.25000 0.23544 0.53668
LDF 10 0.00000 -0.01942 0.09028 0.07261 0.20833 0.19296 0.89320
INFLO 1 0.16667 0.15049 0.07751 0.05960 0.20000 0.18447 0.59790
INFLO 19 0.00000 -0.01942 0.08690 0.06917 0.18605 0.17024 0.88781
COF 2 0.16667 0.15049 0.07770 0.05979 0.18182 0.16593 0.62891
COF 3 0.16667 0.15049 0.12551 0.10853 0.25000 0.23544 0.60841
COF 11 0.00000 -0.01942 0.10306 0.08564 0.20000 0.18447 0.89914

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO