Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Shuttle (version#09)

This dataset has been preprocessed in different variants in the literature. We follow the procedure of Zhang et al. [1], using classes 1, 3, 4, 5, 6 and 7 as inliers and class 2 as outlier, selecting 1000 inliers vs. 13 outliers (class 2). The selection of instances is based on the test set. The processed dataset consists of 1013 instances represented in 9 attributes, with 13 outliers (1.28%) and 1000 inliers (98.72%).

References:

[1] K. Zhang, M. Hutter, and H. Jin. A new local distance-based outlier detection approach for scattered real-world data. In Proc. PAKDD, pages 813-822, 2009.

Download all data set variants used (328.2 kB). You can also access the original data. (shuttle.tst, [1] only uses test set)

Normalized, without duplicates

This version contains 9 attributes, 1013 objects, 13 outliers (1.28%)

Download raw algorithm results (8.5 MB) Download raw algorithm evaluation table (46.5 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.23077 0.22077 0.16569 0.15485 0.35000 0.34155 0.88677
KNN 3 0.15385 0.14285 0.23947 0.22958 0.46809 0.46117 0.97485
KNNW 1 0.15385 0.14285 0.05750 0.04525 0.19048 0.17995 0.61254
KNNW 6 0.15385 0.14285 0.16773 0.15691 0.28571 0.27643 0.95492
KNNW 8 0.15385 0.14285 0.16679 0.15596 0.31373 0.30480 0.95631
LOF 6 0.15385 0.14285 0.16615 0.15531 0.34615 0.33765 0.94831
LOF 7 0.15385 0.14285 0.17537 0.16465 0.31034 0.30138 0.95100
LOF 17 0.15385 0.14285 0.15747 0.14652 0.35294 0.34453 0.90854
SimplifiedLOF 7 0.15385 0.14285 0.13151 0.12022 0.27273 0.26327 0.93131
SimplifiedLOF 9 0.15385 0.14285 0.13537 0.12413 0.27027 0.26078 0.94046
SimplifiedLOF 16 0.15385 0.14285 0.14536 0.13425 0.27586 0.26645 0.92738
SimplifiedLOF 25 0.15385 0.14285 0.13170 0.12041 0.28571 0.27643 0.91431
LoOP 9 0.15385 0.14285 0.13809 0.12688 0.24242 0.23258 0.93677
LoOP 16 0.23077 0.22077 0.16553 0.15469 0.28571 0.27643 0.92792
LoOP 38 0.23077 0.22077 0.14340 0.13227 0.33333 0.32467 0.91062
LDOF 5 0.15385 0.14285 0.04984 0.03749 0.17391 0.16317 0.57931
LDOF 18 0.15385 0.14285 0.14466 0.13354 0.29091 0.28169 0.93885
LDOF 22 0.15385 0.14285 0.11748 0.10601 0.31818 0.30932 0.90092
ODIN 8 0.10526 0.09363 0.09334 0.08155 0.17568 0.16496 0.93181
ODIN 24 0.17949 0.16882 0.13893 0.12773 0.24490 0.23508 0.91358
ODIN 25 0.20000 0.18960 0.12911 0.11779 0.26667 0.25713 0.91458
ODIN 39 0.07692 0.06492 0.12971 0.11840 0.30000 0.29090 0.91085
FastABOD 3 0.07692 0.06492 0.04966 0.03730 0.13793 0.12672 0.70277
FastABOD 4 0.15385 0.14285 0.06445 0.05229 0.17391 0.16317 0.68015
FastABOD 18 0.15385 0.14285 0.07840 0.06642 0.21053 0.20026 0.67562
KDEOS 28 0.07692 0.06492 0.07842 0.06644 0.15584 0.14487 0.90846
KDEOS 61 0.15385 0.14285 0.15142 0.14039 0.19355 0.18306 0.88008
KDEOS 66 0.23077 0.22077 0.08811 0.07626 0.23077 0.22077 0.88169
LDF 4 0.07692 0.06492 0.16789 0.15707 0.32727 0.31853 0.96354
LDF 6 0.07692 0.06492 0.15720 0.14625 0.35088 0.34244 0.91231
LDF 7 0.15385 0.14285 0.16242 0.15153 0.32787 0.31913 0.91854
INFLO 6 0.15385 0.14285 0.12635 0.11499 0.25000 0.24025 0.91415
INFLO 7 0.15385 0.14285 0.14517 0.13406 0.27451 0.26508 0.88885
INFLO 13 0.23077 0.22077 0.13337 0.12211 0.26667 0.25713 0.85762
INFLO 23 0.15385 0.14285 0.12116 0.10973 0.28571 0.27643 0.89731
COF 6 0.15385 0.14285 0.08356 0.07165 0.19048 0.17995 0.83615
COF 34 0.07692 0.06492 0.11587 0.10438 0.26374 0.25416 0.94846
COF 36 0.07692 0.06492 0.11607 0.10458 0.27586 0.26645 0.94846

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 9 attributes, 1013 objects, 13 outliers (1.28%)

Download raw algorithm results (8.3 MB) Download raw algorithm evaluation table (44.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.15385 0.14285 0.10223 0.09055 0.25000 0.24025 0.70600
KNN 5 0.15385 0.14285 0.15864 0.14771 0.28235 0.27302 0.96062
KNNW 1 0.15385 0.14285 0.05045 0.03810 0.19048 0.17995 0.46546
KNNW 11 0.15385 0.14285 0.13353 0.12227 0.22857 0.21854 0.94392
KNNW 13 0.15385 0.14285 0.13186 0.12057 0.23529 0.22535 0.94254
LOF 10 0.23077 0.22077 0.17074 0.15996 0.35294 0.34453 0.95146
LOF 14 0.30769 0.29869 0.18661 0.17603 0.39024 0.38232 0.93315
SimplifiedLOF 2 0.23077 0.22077 0.09007 0.07824 0.24000 0.23012 0.63077
SimplifiedLOF 17 0.15385 0.14285 0.15722 0.14626 0.30000 0.29090 0.94285
SimplifiedLOF 75 0.07692 0.06492 0.14929 0.13823 0.34483 0.33631 0.95438
SimplifiedLOF 84 0.07692 0.06492 0.15038 0.13934 0.37037 0.36219 0.95254
LoOP 2 0.23077 0.22077 0.07745 0.06545 0.24000 0.23012 0.66969
LoOP 28 0.15385 0.14285 0.16312 0.15224 0.38298 0.37496 0.93162
LoOP 29 0.07692 0.06492 0.16431 0.15345 0.38298 0.37496 0.93408
LoOP 43 0.07692 0.06492 0.14584 0.13473 0.28070 0.27135 0.95108
LDOF 3 0.23077 0.22077 0.08972 0.07789 0.28571 0.27643 0.54246
LDOF 32 0.15385 0.14285 0.15418 0.14319 0.29268 0.28349 0.94569
LDOF 39 0.15385 0.14285 0.15390 0.14290 0.31746 0.30859 0.95177
LDOF 46 0.15385 0.14285 0.15084 0.13980 0.30000 0.29090 0.95300
ODIN 30 0.17949 0.16882 0.19304 0.18255 0.35294 0.34453 0.93092
ODIN 39 0.15385 0.14285 0.21935 0.20921 0.43902 0.43173 0.94765
ODIN 40 0.15385 0.14285 0.21951 0.20936 0.43902 0.43173 0.94662
FastABOD 3 0.15385 0.14285 0.05098 0.03865 0.16667 0.15583 0.63854
FastABOD 6 0.15385 0.14285 0.05552 0.04324 0.18182 0.17118 0.60546
FastABOD 50 0.15385 0.14285 0.05970 0.04747 0.18182 0.17118 0.57715
KDEOS 46 0.07692 0.06492 0.09789 0.08616 0.14815 0.13707 0.89477
KDEOS 56 0.07692 0.06492 0.14055 0.12937 0.14286 0.13171 0.89085
KDEOS 69 0.15385 0.14285 0.07387 0.06183 0.16667 0.15583 0.86808
KDEOS 74 0.07692 0.06492 0.07496 0.06293 0.20000 0.18960 0.86623
LDF 8 0.23077 0.22077 0.21440 0.20419 0.48485 0.47815 0.93215
LDF 12 0.38462 0.37662 0.21631 0.20613 0.41026 0.40259 0.94562
LDF 13 0.30769 0.29869 0.21858 0.20842 0.45161 0.44448 0.93877
LDF 43 0.07692 0.06492 0.15113 0.14009 0.35294 0.34453 0.95015
INFLO 1 0.23077 0.22077 0.13232 0.12104 0.23077 0.22077 0.65523
INFLO 17 0.23077 0.22077 0.15573 0.14476 0.33962 0.33104 0.92085
INFLO 41 0.07692 0.06492 0.13536 0.12412 0.29091 0.28169 0.95408
COF 2 0.15385 0.14285 0.06828 0.05617 0.20000 0.18960 0.55250
COF 24 0.15385 0.14285 0.11785 0.10639 0.28169 0.27235 0.90785
COF 67 0.00000 -0.01300 0.08133 0.06939 0.20000 0.18960 0.92646

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO