Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Stamps (5% of outliers version#07)

A data set representing forged (photocopied or scanned+printed) stamps and genuine (ink) stamps. The features are based on color and printing properties of the stamps. Forged stamps are considered to be outliers. The stamps data set is not taken from the UCI repository, but was used in [1].

References:

[1] B. Micenkova, J. van Beusekom, and F. Shafait. Stamp verification for automated document authentication. In 5th Int. Workshop on Computational Forensics, 2012.

Download all data set variants used (371.2 kB).

Normalized, without duplicates

This version contains 9 attributes, 325 objects, 16 outliers (4.92%)

Download raw algorithm results (2.8 MB) Download raw algorithm evaluation table (50.2 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.18750 0.14543 0.16603 0.12284 0.28947 0.25268 0.82777
KNN 13 0.12500 0.07969 0.21294 0.17219 0.43478 0.40552 0.90170
KNNW 3 0.18750 0.14543 0.17097 0.12804 0.29412 0.25757 0.84951
KNNW 16 0.12500 0.07969 0.20522 0.16406 0.42105 0.39107 0.89664
KNNW 34 0.12500 0.07969 0.20784 0.16683 0.41096 0.38046 0.89826
LOF 3 0.12500 0.07969 0.10412 0.05773 0.17021 0.12725 0.56998
LOF 18 0.12500 0.07969 0.19977 0.15834 0.30189 0.26574 0.84365
LOF 100 0.12500 0.07969 0.18106 0.13865 0.33333 0.29881 0.86307
SimplifiedLOF 11 0.12500 0.07969 0.13287 0.08797 0.15748 0.11385 0.62075
SimplifiedLOF 43 0.12500 0.07969 0.17928 0.13679 0.25243 0.21372 0.81270
SimplifiedLOF 82 0.12500 0.07969 0.14609 0.10187 0.25743 0.21898 0.80522
LoOP 17 0.12500 0.07969 0.11827 0.07261 0.19048 0.14856 0.72148
LoOP 43 0.12500 0.07969 0.17523 0.13252 0.23529 0.19570 0.80542
LoOP 98 0.12500 0.07969 0.14784 0.10372 0.25455 0.21595 0.80704
LoOP 100 0.12500 0.07969 0.14725 0.10309 0.25688 0.21840 0.80663
LDOF 21 0.12500 0.07969 0.08206 0.03452 0.15714 0.11350 0.66545
LDOF 47 0.12500 0.07969 0.13511 0.09032 0.25926 0.22090 0.82443
LDOF 50 0.12500 0.07969 0.13472 0.08991 0.27119 0.23345 0.82180
LDOF 98 0.12500 0.07969 0.14800 0.10388 0.25316 0.21449 0.80421
ODIN 35 0.09375 0.04682 0.13687 0.09218 0.27368 0.23608 0.81199
ODIN 52 0.09375 0.04682 0.13393 0.08909 0.29545 0.25897 0.81513
ODIN 59 0.12500 0.07969 0.13070 0.08568 0.25263 0.21393 0.80876
FastABOD 3 0.12500 0.07969 0.10280 0.05634 0.20290 0.16162 0.71602
FastABOD 80 0.06250 0.01396 0.14335 0.09899 0.27778 0.24038 0.82484
FastABOD 81 0.06250 0.01396 0.14332 0.09896 0.28169 0.24450 0.82504
FastABOD 98 0.06250 0.01396 0.14294 0.09856 0.28169 0.24450 0.82625
KDEOS 5 0.12500 0.07969 0.06519 0.01679 0.16216 0.11878 0.50566
KDEOS 78 0.06250 0.01396 0.11755 0.07185 0.22901 0.18909 0.78337
KDEOS 98 0.06250 0.01396 0.13134 0.08636 0.23913 0.19973 0.77953
LDF 2 0.12500 0.07969 0.06930 0.02111 0.16216 0.11878 0.48645
LDF 13 0.12500 0.07969 0.17424 0.13149 0.39437 0.36301 0.86954
LDF 98 0.12500 0.07969 0.20979 0.16888 0.37838 0.34619 0.89159
INFLO 15 0.12500 0.07969 0.13864 0.09404 0.17699 0.13438 0.66515
INFLO 51 0.12500 0.07969 0.16382 0.12053 0.21374 0.17303 0.76163
INFLO 84 0.12500 0.07969 0.14399 0.09967 0.24490 0.20580 0.78712
INFLO 99 0.12500 0.07969 0.15022 0.10621 0.27451 0.23694 0.78135
COF 14 0.18750 0.14543 0.16160 0.11818 0.25000 0.21117 0.79146
COF 36 0.12500 0.07969 0.26899 0.23114 0.40625 0.37551 0.87803
COF 38 0.12500 0.07969 0.23291 0.19319 0.41935 0.38929 0.88248

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 9 attributes, 325 objects, 16 outliers (4.92%)

Download raw algorithm results (2.8 MB) Download raw algorithm evaluation table (50.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.15625 0.11256 0.17832 0.13577 0.29730 0.26091 0.83303
KNN 2 0.12500 0.07969 0.24189 0.20263 0.38356 0.35164 0.90807
KNN 14 0.12500 0.07969 0.23189 0.19212 0.46875 0.44124 0.91303
KNN 52 0.06250 0.01396 0.23866 0.19924 0.46154 0.43366 0.91606
KNNW 1 0.12500 0.07969 0.11737 0.07167 0.19048 0.14856 0.73513
KNNW 49 0.12500 0.07969 0.22953 0.18963 0.45070 0.42226 0.91201
KNNW 88 0.06250 0.01396 0.23391 0.19424 0.43836 0.40927 0.91444
KNNW 96 0.06250 0.01396 0.23407 0.19441 0.43750 0.40837 0.91444
LOF 3 0.25000 0.21117 0.12677 0.08156 0.25000 0.21117 0.62055
LOF 97 0.06250 0.01396 0.19857 0.15708 0.36842 0.33572 0.88046
LOF 99 0.06250 0.01396 0.19916 0.15769 0.35897 0.32578 0.88087
SimplifiedLOF 4 0.12500 0.07969 0.08809 0.04087 0.17778 0.13520 0.53782
SimplifiedLOF 41 0.12500 0.07969 0.17347 0.13067 0.22857 0.18863 0.79389
SimplifiedLOF 95 0.12500 0.07969 0.15374 0.10992 0.27451 0.23694 0.81250
SimplifiedLOF 99 0.12500 0.07969 0.15559 0.11186 0.27451 0.23694 0.81715
LoOP 9 0.12500 0.07969 0.07855 0.03083 0.12903 0.08393 0.55279
LoOP 43 0.12500 0.07969 0.17189 0.12901 0.22680 0.18677 0.79025
LoOP 96 0.12500 0.07969 0.15370 0.10988 0.28000 0.24272 0.81371
LoOP 100 0.12500 0.07969 0.15554 0.11181 0.27723 0.23980 0.81695
LDOF 37 0.12500 0.07969 0.11525 0.06943 0.21505 0.17441 0.77852
LDOF 95 0.12500 0.07969 0.15439 0.11060 0.26667 0.22869 0.81392
LDOF 99 0.12500 0.07969 0.15625 0.11256 0.26316 0.22500 0.81857
LDOF 100 0.12500 0.07969 0.15654 0.11287 0.26667 0.22869 0.81837
ODIN 29 0.12500 0.07969 0.11647 0.07072 0.21583 0.17522 0.78024
ODIN 39 0.12500 0.07969 0.13491 0.09012 0.28571 0.24873 0.81240
ODIN 50 0.12500 0.07969 0.13904 0.09446 0.26087 0.22260 0.80674
ODIN 100 0.12500 0.07969 0.13699 0.09230 0.23932 0.19993 0.81867
FastABOD 8 0.06250 0.01396 0.13319 0.08830 0.29508 0.25858 0.80765
FastABOD 92 0.12500 0.07969 0.15557 0.11184 0.29032 0.25358 0.84001
FastABOD 94 0.12500 0.07969 0.15632 0.11264 0.29032 0.25358 0.84082
KDEOS 23 0.12500 0.07969 0.07817 0.03044 0.16216 0.11878 0.63511
KDEOS 87 0.06250 0.01396 0.12802 0.08287 0.22807 0.18810 0.77265
KDEOS 90 0.06250 0.01396 0.11875 0.07312 0.23636 0.19682 0.77549
LDF 3 0.18750 0.14543 0.17231 0.12945 0.24000 0.20065 0.66040
LDF 92 0.06250 0.01396 0.24417 0.20504 0.43836 0.40927 0.91444
LDF 97 0.06250 0.01396 0.24605 0.20701 0.43836 0.40927 0.91545
INFLO 16 0.12500 0.07969 0.13700 0.09232 0.16129 0.11786 0.65847
INFLO 96 0.12500 0.07969 0.16132 0.11789 0.30769 0.27184 0.79591
INFLO 100 0.12500 0.07969 0.16478 0.12153 0.29885 0.26255 0.80077
COF 33 0.12500 0.07969 0.27021 0.23242 0.35821 0.32498 0.87237
COF 34 0.12500 0.07969 0.26487 0.22681 0.36066 0.32755 0.86711
COF 44 0.25000 0.21117 0.21693 0.17638 0.32143 0.28629 0.84001

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO