Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Shuttle (version#07)

This dataset has been preprocessed in different variants in the literature. We follow the procedure of Zhang et al. [1], using classes 1, 3, 4, 5, 6 and 7 as inliers and class 2 as outlier, selecting 1000 inliers vs. 13 outliers (class 2). The selection of instances is based on the test set. The processed dataset consists of 1013 instances represented in 9 attributes, with 13 outliers (1.28%) and 1000 inliers (98.72%).

References:

[1] K. Zhang, M. Hutter, and H. Jin. A new local distance-based outlier detection approach for scattered real-world data. In Proc. PAKDD, pages 813-822, 2009.

Download all data set variants used (328.2 kB). You can also access the original data. (shuttle.tst, [1] only uses test set)

Normalized, without duplicates

This version contains 9 attributes, 1013 objects, 13 outliers (1.28%)

Download raw algorithm results (8.6 MB) Download raw algorithm evaluation table (49.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.07692 0.06492 0.03386 0.02130 0.10000 0.08830 0.58715
KNN 3 0.07692 0.06492 0.06391 0.05174 0.12644 0.11508 0.88077
KNNW 1 0.07692 0.06492 0.03439 0.02184 0.12121 0.10979 0.49000
KNNW 7 0.07692 0.06492 0.04569 0.03328 0.10000 0.08830 0.81685
LOF 2 0.07692 0.06492 0.05224 0.03992 0.17544 0.16472 0.61954
LOF 6 0.07692 0.06492 0.09923 0.08752 0.24615 0.23635 0.92362
SimplifiedLOF 1 0.07692 0.06492 0.02230 0.00959 0.07692 0.06492 0.52488
SimplifiedLOF 8 0.07692 0.06492 0.07140 0.05933 0.15152 0.14048 0.88315
SimplifiedLOF 9 0.07692 0.06492 0.07129 0.05921 0.15254 0.14153 0.88454
LoOP 3 0.15385 0.14285 0.04128 0.02882 0.16667 0.15583 0.63000
LoOP 7 0.07692 0.06492 0.07907 0.06710 0.13793 0.12672 0.89215
LoOP 9 0.07692 0.06492 0.07744 0.06544 0.15942 0.14849 0.89623
LDOF 5 0.15385 0.14285 0.05247 0.04015 0.16667 0.15583 0.58685
LDOF 7 0.15385 0.14285 0.06730 0.05517 0.18605 0.17547 0.79177
LDOF 9 0.07692 0.06492 0.07285 0.06079 0.18182 0.17118 0.87838
LDOF 16 0.07692 0.06492 0.06368 0.05150 0.12766 0.11632 0.88015
ODIN 7 0.11765 0.10618 0.08251 0.07058 0.15094 0.13991 0.91377
ODIN 9 0.14286 0.13171 0.07953 0.06756 0.16667 0.15583 0.86496
ODIN 18 0.00000 -0.01300 0.06901 0.05691 0.19672 0.18628 0.85742
FastABOD 3 0.07692 0.06492 0.02911 0.01648 0.12903 0.11771 0.49023
FastABOD 6 0.07692 0.06492 0.03227 0.01968 0.14815 0.13707 0.46715
FastABOD 7 0.07692 0.06492 0.03232 0.01974 0.14815 0.13707 0.46923
KDEOS 29 0.15385 0.14285 0.10006 0.08836 0.20690 0.19659 0.87892
KDEOS 30 0.15385 0.14285 0.10823 0.09664 0.21818 0.20802 0.88392
KDEOS 31 0.15385 0.14285 0.10406 0.09241 0.23256 0.22258 0.88969
LDF 2 0.15385 0.14285 0.05484 0.04255 0.17391 0.16317 0.61231
LDF 4 0.07692 0.06492 0.07422 0.06218 0.14035 0.12918 0.89431
LDF 5 0.07692 0.06492 0.07623 0.06422 0.14493 0.13381 0.89369
INFLO 2 0.15385 0.14285 0.03671 0.02418 0.16667 0.15583 0.53946
INFLO 6 0.07692 0.06492 0.07094 0.05887 0.12346 0.11206 0.88946
INFLO 7 0.07692 0.06492 0.07573 0.06372 0.14815 0.13707 0.88815
COF 4 0.15385 0.14285 0.03872 0.02622 0.15385 0.14285 0.63831
COF 6 0.07692 0.06492 0.04540 0.03299 0.13333 0.12207 0.72023
COF 9 0.00000 -0.01300 0.03951 0.02702 0.11111 0.09956 0.77946

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 9 attributes, 1013 objects, 13 outliers (1.28%)

Download raw algorithm results (8.3 MB) Download raw algorithm evaluation table (45.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.23077 0.22077 0.12812 0.11678 0.28571 0.27643 0.80242
KNN 5 0.23077 0.22077 0.16909 0.15829 0.30952 0.30055 0.96335
KNN 7 0.23077 0.22077 0.17543 0.16471 0.28571 0.27643 0.96458
KNNW 5 0.23077 0.22077 0.11584 0.10435 0.25641 0.24674 0.88600
KNNW 6 0.23077 0.22077 0.12725 0.11590 0.25806 0.24842 0.92231
KNNW 12 0.23077 0.22077 0.14819 0.13711 0.25806 0.24842 0.95185
KNNW 14 0.23077 0.22077 0.14794 0.13687 0.25806 0.24842 0.95223
LOF 1 0.23077 0.22077 0.11155 0.10000 0.28571 0.27643 0.50569
LOF 10 0.15385 0.14285 0.19961 0.18921 0.35088 0.34244 0.96762
LOF 14 0.23077 0.22077 0.22665 0.21660 0.47619 0.46938 0.95400
LOF 15 0.23077 0.22077 0.23264 0.22267 0.47368 0.46684 0.95346
SimplifiedLOF 2 0.23077 0.22077 0.08844 0.07659 0.28571 0.27643 0.56985
SimplifiedLOF 22 0.15385 0.14285 0.21280 0.20257 0.41667 0.40908 0.96485
SimplifiedLOF 27 0.07692 0.06492 0.22091 0.21078 0.39130 0.38339 0.97131
SimplifiedLOF 29 0.07692 0.06492 0.22266 0.21256 0.40000 0.39220 0.96985
LoOP 2 0.23077 0.22077 0.09790 0.08617 0.30000 0.29090 0.62985
LoOP 31 0.15385 0.14285 0.22170 0.21158 0.42105 0.41353 0.96831
LoOP 36 0.15385 0.14285 0.22441 0.21433 0.43243 0.42505 0.96638
LoOP 37 0.15385 0.14285 0.22336 0.21326 0.44444 0.43722 0.96531
LDOF 3 0.23077 0.22077 0.12210 0.11069 0.33333 0.32467 0.49192
LDOF 44 0.23077 0.22077 0.19569 0.18523 0.35484 0.34645 0.96408
LDOF 52 0.15385 0.14285 0.18783 0.17727 0.37736 0.36926 0.96254
ODIN 34 0.15385 0.14285 0.16630 0.15547 0.32787 0.31913 0.95150
ODIN 54 0.19231 0.18181 0.19797 0.18754 0.40000 0.39220 0.93231
ODIN 64 0.15385 0.14285 0.21461 0.20440 0.45000 0.44285 0.93223
ODIN 72 0.15385 0.14285 0.20424 0.19389 0.47059 0.46371 0.91854
FastABOD 3 0.15385 0.14285 0.05053 0.03818 0.17391 0.16317 0.59515
FastABOD 9 0.15385 0.14285 0.05689 0.04463 0.18182 0.17118 0.59523
FastABOD 71 0.15385 0.14285 0.06124 0.04904 0.20000 0.18960 0.57515
FastABOD 100 0.15385 0.14285 0.06184 0.04965 0.20000 0.18960 0.57477
KDEOS 94 0.23077 0.22077 0.09745 0.08572 0.23077 0.22077 0.88208
KDEOS 99 0.23077 0.22077 0.09776 0.08603 0.24000 0.23012 0.88523
KDEOS 100 0.15385 0.14285 0.09954 0.08783 0.22222 0.21211 0.88638
LDF 9 0.23077 0.22077 0.26561 0.25607 0.48649 0.47981 0.97992
LDF 10 0.30769 0.29869 0.26875 0.25925 0.48649 0.47981 0.97954
LDF 11 0.23077 0.22077 0.25847 0.24883 0.50000 0.49350 0.97531
INFLO 1 0.23077 0.22077 0.09866 0.08695 0.25000 0.24025 0.62500
INFLO 26 0.07692 0.06492 0.19938 0.18897 0.38298 0.37496 0.96300
INFLO 28 0.07692 0.06492 0.20081 0.19042 0.40000 0.39220 0.96185
INFLO 30 0.15385 0.14285 0.20220 0.19183 0.39024 0.38232 0.96000
COF 2 0.23077 0.22077 0.09010 0.07827 0.25000 0.24025 0.55862
COF 28 0.15385 0.14285 0.14732 0.13624 0.25743 0.24777 0.95715
COF 29 0.15385 0.14285 0.15045 0.13940 0.29091 0.28169 0.95492

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO