Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Stamps (5% of outliers version#09)

A data set representing forged (photocopied or scanned+printed) stamps and genuine (ink) stamps. The features are based on color and printing properties of the stamps. Forged stamps are considered to be outliers. The stamps data set is not taken from the UCI repository, but was used in [1].

References:

[1] B. Micenkova, J. van Beusekom, and F. Shafait. Stamp verification for automated document authentication. In 5th Int. Workshop on Computational Forensics, 2012.

Download all data set variants used (371.2 kB).

Normalized, without duplicates

This version contains 9 attributes, 325 objects, 16 outliers (4.92%)

Download raw algorithm results (2.8 MB) Download raw algorithm evaluation table (49.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 7 0.12500 0.07969 0.27073 0.23296 0.49231 0.46602 0.92375
KNN 10 0.18750 0.14543 0.26863 0.23076 0.47059 0.44318 0.92213
KNN 100 0.18750 0.14543 0.27160 0.23389 0.44444 0.41568 0.92071
KNNW 1 0.18750 0.14543 0.14419 0.09987 0.19048 0.14856 0.71855
KNNW 29 0.12500 0.07969 0.26075 0.22247 0.46377 0.43600 0.91869
KNNW 60 0.12500 0.07969 0.26271 0.22453 0.43243 0.40304 0.91930
KNNW 100 0.12500 0.07969 0.26356 0.22542 0.43077 0.40129 0.91909
LOF 1 0.12500 0.07969 0.09030 0.04320 0.13333 0.08846 0.49403
LOF 98 0.12500 0.07969 0.25489 0.21631 0.33708 0.30275 0.87358
LOF 100 0.12500 0.07969 0.25599 0.21746 0.32258 0.28750 0.87439
SimplifiedLOF 3 0.12500 0.07969 0.07156 0.02349 0.14286 0.09847 0.42921
SimplifiedLOF 51 0.12500 0.07969 0.22900 0.18908 0.24444 0.20532 0.80866
SimplifiedLOF 82 0.12500 0.07969 0.21188 0.17107 0.26415 0.22605 0.81351
SimplifiedLOF 100 0.12500 0.07969 0.21825 0.17777 0.25263 0.21393 0.82342
LoOP 4 0.12500 0.07969 0.06988 0.02172 0.13793 0.09329 0.44822
LoOP 38 0.12500 0.07969 0.22346 0.18325 0.22222 0.18195 0.79248
LoOP 87 0.12500 0.07969 0.21550 0.17488 0.26923 0.23139 0.81897
LoOP 99 0.12500 0.07969 0.21868 0.17823 0.25263 0.21393 0.82342
LDOF 7 0.12500 0.07969 0.06612 0.01776 0.13793 0.09329 0.48321
LDOF 99 0.12500 0.07969 0.22101 0.18068 0.27500 0.23746 0.82524
LDOF 100 0.12500 0.07969 0.22155 0.18124 0.26829 0.23040 0.82605
ODIN 7 0.12500 0.07969 0.07701 0.02922 0.14815 0.10404 0.59517
ODIN 54 0.12500 0.07969 0.20458 0.16339 0.28302 0.24589 0.83950
ODIN 56 0.12500 0.07969 0.21061 0.16973 0.29213 0.25548 0.83708
ODIN 57 0.12500 0.07969 0.20709 0.16603 0.29885 0.26255 0.83536
FastABOD 3 0.12500 0.07969 0.11359 0.06770 0.19048 0.14856 0.72168
FastABOD 78 0.12500 0.07969 0.18126 0.13886 0.29412 0.25757 0.84891
FastABOD 82 0.12500 0.07969 0.21315 0.17241 0.29412 0.25757 0.85012
FastABOD 97 0.12500 0.07969 0.18254 0.14022 0.28571 0.24873 0.85113
KDEOS 52 0.12500 0.07969 0.09273 0.04575 0.17544 0.13274 0.72816
KDEOS 85 0.06250 0.01396 0.14201 0.09759 0.27184 0.23414 0.80744
KDEOS 86 0.06250 0.01396 0.13178 0.08682 0.26667 0.22869 0.80785
KDEOS 91 0.06250 0.01396 0.14227 0.09786 0.26923 0.23139 0.80785
LDF 1 0.12500 0.07969 0.09879 0.05213 0.16667 0.12352 0.51123
LDF 88 0.12500 0.07969 0.30476 0.26876 0.41176 0.38131 0.91343
LDF 97 0.12500 0.07969 0.28101 0.24378 0.42424 0.39443 0.91707
LDF 99 0.12500 0.07969 0.28185 0.24466 0.41791 0.38777 0.91727
INFLO 3 0.12500 0.07969 0.07122 0.02313 0.14286 0.09847 0.48463
INFLO 94 0.12500 0.07969 0.22696 0.18693 0.28571 0.24873 0.82100
INFLO 100 0.12500 0.07969 0.23297 0.19325 0.28205 0.24488 0.82737
COF 25 0.12500 0.07969 0.23506 0.19546 0.33962 0.30543 0.87884
COF 38 0.25000 0.21117 0.26114 0.22288 0.36364 0.33069 0.85012
COF 40 0.25000 0.21117 0.23339 0.19369 0.42105 0.39107 0.82585
COF 47 0.31250 0.27690 0.24145 0.20217 0.34286 0.30883 0.78540

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 9 attributes, 325 objects, 16 outliers (4.92%)

Download raw algorithm results (2.8 MB) Download raw algorithm evaluation table (48.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 13 0.18750 0.14543 0.26871 0.23085 0.46875 0.44124 0.92233
KNN 46 0.12500 0.07969 0.27255 0.23489 0.47273 0.44543 0.92253
KNN 69 0.12500 0.07969 0.27759 0.24018 0.45614 0.42798 0.92557
KNNW 1 0.18750 0.14543 0.14517 0.10091 0.19048 0.14856 0.72158
KNNW 33 0.12500 0.07969 0.25849 0.22010 0.45714 0.42903 0.91748
KNNW 81 0.12500 0.07969 0.26850 0.23062 0.44444 0.41568 0.92213
KNNW 99 0.12500 0.07969 0.26887 0.23101 0.43478 0.40552 0.92213
LOF 1 0.12500 0.07969 0.09318 0.04622 0.13793 0.09329 0.50465
LOF 97 0.12500 0.07969 0.27327 0.23564 0.38961 0.35800 0.88977
LOF 99 0.12500 0.07969 0.27390 0.23630 0.37975 0.34763 0.89037
SimplifiedLOF 3 0.12500 0.07969 0.07947 0.03181 0.15385 0.11003 0.45105
SimplifiedLOF 73 0.12500 0.07969 0.21138 0.17054 0.27273 0.23507 0.81129
SimplifiedLOF 98 0.12500 0.07969 0.22459 0.18444 0.27184 0.23414 0.83293
SimplifiedLOF 100 0.12500 0.07969 0.22486 0.18473 0.26829 0.23040 0.83293
LoOP 4 0.12500 0.07969 0.07272 0.02471 0.15094 0.10698 0.45874
LoOP 94 0.12500 0.07969 0.22282 0.18257 0.27723 0.23980 0.82929
LoOP 100 0.12500 0.07969 0.22581 0.18572 0.26923 0.23139 0.83394
LDOF 6 0.12500 0.07969 0.06929 0.02110 0.13333 0.08846 0.47816
LDOF 96 0.12500 0.07969 0.22283 0.18258 0.28205 0.24488 0.83070
LDOF 99 0.12500 0.07969 0.22327 0.18305 0.27500 0.23746 0.83091
ODIN 8 0.12500 0.07969 0.07685 0.02905 0.13415 0.08931 0.59506
ODIN 60 0.12500 0.07969 0.20436 0.16316 0.28866 0.25183 0.83455
ODIN 100 0.12500 0.07969 0.20843 0.16745 0.26966 0.23185 0.83768
FastABOD 4 0.12500 0.07969 0.11021 0.06414 0.18605 0.14390 0.74595
FastABOD 81 0.12500 0.07969 0.18230 0.13996 0.27692 0.23948 0.85032
FastABOD 97 0.12500 0.07969 0.18288 0.14057 0.27692 0.23948 0.85133
KDEOS 3 0.12500 0.07969 0.09906 0.05241 0.18182 0.13945 0.46845
KDEOS 89 0.06250 0.01396 0.13407 0.08923 0.24779 0.20884 0.79146
KDEOS 96 0.06250 0.01396 0.11653 0.07079 0.25455 0.21595 0.78641
LDF 1 0.12500 0.07969 0.10206 0.05557 0.17143 0.12853 0.51618
LDF 90 0.12500 0.07969 0.32170 0.28657 0.44444 0.41568 0.92294
LDF 98 0.12500 0.07969 0.29703 0.26063 0.45714 0.42903 0.92617
LDF 100 0.12500 0.07969 0.29614 0.25969 0.46377 0.43600 0.92577
INFLO 3 0.12500 0.07969 0.07925 0.03158 0.16000 0.11650 0.51911
INFLO 98 0.12500 0.07969 0.23995 0.20060 0.30986 0.27412 0.83697
INFLO 99 0.12500 0.07969 0.24116 0.20187 0.30303 0.26694 0.83778
COF 27 0.12500 0.07969 0.21751 0.17699 0.29630 0.25986 0.86590
COF 30 0.12500 0.07969 0.24543 0.20635 0.28866 0.25183 0.86104
COF 45 0.25000 0.21117 0.21158 0.17076 0.35000 0.31634 0.78540
COF 48 0.25000 0.21117 0.23795 0.19849 0.37838 0.34619 0.77933

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO