Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Stamps (5% of outliers version#01)

A data set representing forged (photocopied or scanned+printed) stamps and genuine (ink) stamps. The features are based on color and printing properties of the stamps. Forged stamps are considered to be outliers. The stamps data set is not taken from the UCI repository, but was used in [1].

References:

[1] B. Micenkova, J. van Beusekom, and F. Shafait. Stamp verification for automated document authentication. In 5th Int. Workshop on Computational Forensics, 2012.

Download all data set variants used (371.2 kB).

Normalized, without duplicates

This version contains 9 attributes, 325 objects, 16 outliers (4.92%)

Download raw algorithm results (2.8 MB) Download raw algorithm evaluation table (48.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.18750 0.14543 0.20266 0.16137 0.38095 0.34890 0.78631
KNN 11 0.18750 0.14543 0.24841 0.20949 0.47059 0.44318 0.91687
KNN 12 0.18750 0.14543 0.25191 0.21317 0.47059 0.44318 0.91828
KNNW 1 0.25000 0.21117 0.20627 0.16517 0.33333 0.29881 0.80835
KNNW 35 0.18750 0.14543 0.24341 0.20423 0.46377 0.43600 0.91424
KNNW 37 0.18750 0.14543 0.24378 0.20463 0.46377 0.43600 0.91444
LOF 4 0.25000 0.21117 0.17588 0.13321 0.29630 0.25986 0.63734
LOF 22 0.18750 0.14543 0.23349 0.19380 0.34091 0.30678 0.87278
LOF 24 0.18750 0.14543 0.23567 0.19610 0.34483 0.31090 0.87237
LOF 26 0.18750 0.14543 0.23660 0.19707 0.32558 0.29066 0.87278
SimplifiedLOF 5 0.25000 0.21117 0.15376 0.10994 0.29268 0.25606 0.64482
SimplifiedLOF 7 0.25000 0.21117 0.14600 0.10178 0.30769 0.27184 0.60619
SimplifiedLOF 41 0.18750 0.14543 0.21073 0.16986 0.26531 0.22726 0.84082
SimplifiedLOF 45 0.18750 0.14543 0.20806 0.16705 0.26667 0.22869 0.84122
LoOP 4 0.18750 0.14543 0.15905 0.11551 0.30189 0.26574 0.65494
LoOP 7 0.25000 0.21117 0.15053 0.10654 0.27586 0.23837 0.61903
LoOP 44 0.18750 0.14543 0.21147 0.17064 0.27826 0.24089 0.84628
LoOP 47 0.18750 0.14543 0.21168 0.17086 0.27907 0.24174 0.84628
LDOF 8 0.31250 0.27690 0.13473 0.08992 0.33333 0.29881 0.62439
LDOF 57 0.18750 0.14543 0.20682 0.16575 0.29213 0.25548 0.84729
LDOF 86 0.18750 0.14543 0.20923 0.16829 0.28283 0.24569 0.84506
ODIN 29 0.21875 0.17830 0.17679 0.13416 0.27723 0.23980 0.85164
ODIN 34 0.17857 0.13604 0.19321 0.15143 0.31325 0.27769 0.86934
ODIN 50 0.18750 0.14543 0.23239 0.19264 0.31915 0.28389 0.85396
ODIN 53 0.18750 0.14543 0.22806 0.18809 0.32967 0.29496 0.85487
FastABOD 5 0.37500 0.34264 0.20613 0.16502 0.37500 0.34264 0.79187
FastABOD 98 0.25000 0.21117 0.19878 0.15729 0.30508 0.26910 0.84284
KDEOS 23 0.25000 0.21117 0.11427 0.06841 0.26667 0.22869 0.64786
KDEOS 61 0.18750 0.14543 0.14854 0.10445 0.31373 0.27819 0.78985
KDEOS 86 0.18750 0.14543 0.25896 0.22059 0.24000 0.20065 0.82322
KDEOS 92 0.18750 0.14543 0.22163 0.18133 0.24691 0.20792 0.82625
LDF 3 0.25000 0.21117 0.21933 0.17891 0.31818 0.28288 0.70672
LDF 12 0.18750 0.14543 0.24542 0.20634 0.40506 0.37426 0.88350
LDF 79 0.12500 0.07969 0.25319 0.21452 0.36842 0.33572 0.88956
LDF 100 0.12500 0.07969 0.22589 0.18581 0.36923 0.33657 0.89098
INFLO 7 0.25000 0.21117 0.17899 0.13648 0.25000 0.21117 0.62581
INFLO 48 0.18750 0.14543 0.20238 0.16108 0.28283 0.24569 0.83313
INFLO 97 0.12500 0.07969 0.21077 0.16990 0.30108 0.26488 0.82636
INFLO 100 0.12500 0.07969 0.21300 0.17225 0.30108 0.26488 0.82828
COF 7 0.31250 0.27690 0.15249 0.10860 0.32258 0.28750 0.55593
COF 33 0.18750 0.14543 0.30475 0.26875 0.34783 0.31406 0.89725
COF 37 0.18750 0.14543 0.29703 0.26063 0.36735 0.33459 0.88977

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 9 attributes, 325 objects, 16 outliers (4.92%)

Download raw algorithm results (2.8 MB) Download raw algorithm evaluation table (47.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.18750 0.14543 0.19961 0.15816 0.36364 0.33069 0.78226
KNN 12 0.18750 0.14543 0.25221 0.21349 0.47761 0.45056 0.91869
KNN 13 0.18750 0.14543 0.25384 0.21521 0.46377 0.43600 0.91950
KNNW 1 0.25000 0.21117 0.20559 0.16445 0.33333 0.29881 0.80785
KNNW 39 0.12500 0.07969 0.24625 0.20722 0.47059 0.44318 0.91586
KNNW 55 0.12500 0.07969 0.24849 0.20958 0.45455 0.42630 0.91707
KNNW 62 0.12500 0.07969 0.24854 0.20962 0.44776 0.41917 0.91707
LOF 4 0.25000 0.21117 0.17829 0.13574 0.29630 0.25986 0.62682
LOF 95 0.12500 0.07969 0.24338 0.20420 0.36842 0.33572 0.88006
LOF 99 0.12500 0.07969 0.24420 0.20507 0.36364 0.33069 0.88087
SimplifiedLOF 3 0.18750 0.14543 0.15071 0.10673 0.32000 0.28479 0.68892
SimplifiedLOF 4 0.25000 0.21117 0.16730 0.12419 0.30000 0.26375 0.69842
SimplifiedLOF 97 0.18750 0.14543 0.22212 0.18184 0.28283 0.24569 0.84729
LoOP 2 0.25000 0.21117 0.12484 0.07952 0.25000 0.21117 0.56634
LoOP 93 0.18750 0.14543 0.21318 0.17244 0.29474 0.25822 0.84709
LoOP 98 0.18750 0.14543 0.21844 0.17798 0.28866 0.25183 0.85093
LDOF 5 0.31250 0.27690 0.17918 0.13667 0.35294 0.31944 0.73645
LDOF 96 0.18750 0.14543 0.21405 0.17335 0.29787 0.26152 0.85275
LDOF 99 0.18750 0.14543 0.21493 0.17428 0.29703 0.26063 0.85235
ODIN 5 0.21467 0.17401 0.11192 0.06593 0.22222 0.18195 0.56392
ODIN 36 0.18750 0.14543 0.22249 0.18223 0.29885 0.26255 0.86489
ODIN 47 0.18750 0.14543 0.22080 0.18045 0.32258 0.28750 0.85123
ODIN 57 0.18750 0.14543 0.23045 0.19061 0.32258 0.28750 0.85730
FastABOD 4 0.31250 0.27690 0.19686 0.15528 0.33333 0.29881 0.79733
FastABOD 7 0.31250 0.27690 0.19049 0.14857 0.36364 0.33069 0.79551
FastABOD 9 0.31250 0.27690 0.20238 0.16108 0.36364 0.33069 0.79632
FastABOD 99 0.18750 0.14543 0.19970 0.15826 0.29508 0.25858 0.84426
KDEOS 20 0.25000 0.21117 0.11500 0.06917 0.25000 0.21117 0.61630
KDEOS 55 0.12500 0.07969 0.14177 0.09733 0.30769 0.27184 0.75384
KDEOS 82 0.18750 0.14543 0.25446 0.21586 0.25000 0.21117 0.80825
KDEOS 88 0.18750 0.14543 0.18925 0.14727 0.24390 0.20475 0.81837
LDF 2 0.25000 0.21117 0.15259 0.10872 0.30303 0.26694 0.63167
LDF 79 0.12500 0.07969 0.28010 0.24282 0.43750 0.40837 0.90878
LDF 82 0.12500 0.07969 0.28122 0.24400 0.43333 0.40399 0.90898
INFLO 2 0.18750 0.14543 0.12039 0.07484 0.27027 0.23248 0.60508
INFLO 99 0.12500 0.07969 0.22045 0.18008 0.32941 0.29469 0.83758
COF 8 0.31250 0.27690 0.15887 0.11531 0.34483 0.31090 0.56938
COF 9 0.31250 0.27690 0.18482 0.14261 0.38462 0.35275 0.58495
COF 34 0.18750 0.14543 0.27970 0.24240 0.29851 0.26218 0.87561

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO