Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Shuttle (version#02)

This dataset has been preprocessed in different variants in the literature. We follow the procedure of Zhang et al. [1], using classes 1, 3, 4, 5, 6 and 7 as inliers and class 2 as outlier, selecting 1000 inliers vs. 13 outliers (class 2). The selection of instances is based on the test set. The processed dataset consists of 1013 instances represented in 9 attributes, with 13 outliers (1.28%) and 1000 inliers (98.72%).

References:

[1] K. Zhang, M. Hutter, and H. Jin. A new local distance-based outlier detection approach for scattered real-world data. In Proc. PAKDD, pages 813-822, 2009.

Download all data set variants used (328.2 kB). You can also access the original data. (shuttle.tst, [1] only uses test set)

Normalized, without duplicates

This version contains 9 attributes, 1013 objects, 13 outliers (1.28%)

Download raw algorithm results (8.5 MB) Download raw algorithm evaluation table (47.0 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.15385 0.14285 0.07644 0.06444 0.19048 0.17995 0.68862
KNN 3 0.15385 0.14285 0.14094 0.12978 0.23158 0.22159 0.94600
KNNW 1 0.15385 0.14285 0.05215 0.03983 0.19048 0.17995 0.55985
KNNW 8 0.15385 0.14285 0.10089 0.08921 0.18182 0.17118 0.91015
KNNW 9 0.15385 0.14285 0.10314 0.09148 0.19048 0.17995 0.90985
LOF 6 0.07692 0.06492 0.11688 0.10540 0.24138 0.23152 0.94654
LOF 8 0.15385 0.14285 0.11195 0.10041 0.23333 0.22337 0.92285
LOF 9 0.15385 0.14285 0.10869 0.09711 0.25806 0.24842 0.88562
SimplifiedLOF 10 0.07692 0.06492 0.10134 0.08966 0.21782 0.20765 0.93569
SimplifiedLOF 11 0.07692 0.06492 0.10336 0.09171 0.22472 0.21464 0.93123
SimplifiedLOF 12 0.07692 0.06492 0.10652 0.09491 0.19469 0.18422 0.92500
SimplifiedLOF 13 0.15385 0.14285 0.10491 0.09328 0.19298 0.18249 0.91900
LoOP 10 0.07692 0.06492 0.09787 0.08614 0.19469 0.18422 0.92785
LoOP 11 0.07692 0.06492 0.10662 0.09501 0.22000 0.20986 0.92662
LoOP 12 0.15385 0.14285 0.10912 0.09754 0.21505 0.20485 0.91992
LDOF 2 0.00000 -0.01300 0.01599 0.00320 0.04545 0.03305 0.48462
LDOF 13 0.00000 -0.01300 0.07203 0.05997 0.17778 0.16709 0.88185
LDOF 18 0.00000 -0.01300 0.07911 0.06714 0.19355 0.18306 0.85700
LDOF 21 0.00000 -0.01300 0.07488 0.06286 0.21951 0.20937 0.85385
ODIN 9 0.02849 0.01586 0.06228 0.05009 0.13514 0.12389 0.89958
ODIN 15 0.07692 0.06492 0.07996 0.06800 0.15873 0.14779 0.86000
ODIN 17 0.00000 -0.01300 0.08332 0.07140 0.19355 0.18306 0.85831
ODIN 21 0.00000 -0.01300 0.08274 0.07082 0.19444 0.18397 0.87119
FastABOD 4 0.15385 0.14285 0.03431 0.02176 0.15385 0.14285 0.58000
FastABOD 13 0.15385 0.14285 0.04334 0.03091 0.18182 0.17118 0.60946
FastABOD 30 0.15385 0.14285 0.04495 0.03254 0.18182 0.17118 0.62515
FastABOD 100 0.15385 0.14285 0.04440 0.03197 0.15385 0.14285 0.63423
KDEOS 20 0.15385 0.14285 0.05627 0.04401 0.16667 0.15583 0.84338
KDEOS 31 0.15385 0.14285 0.14695 0.13586 0.22222 0.21211 0.84985
KDEOS 41 0.15385 0.14285 0.19163 0.18112 0.26667 0.25713 0.81862
KDEOS 58 0.15385 0.14285 0.19831 0.18789 0.26667 0.25713 0.82215
LDF 4 0.07692 0.06492 0.14506 0.13395 0.32558 0.31681 0.94838
LDF 5 0.07692 0.06492 0.13835 0.12715 0.26667 0.25713 0.95131
LDF 7 0.15385 0.14285 0.10566 0.09403 0.21429 0.20407 0.91862
INFLO 3 0.07692 0.06492 0.03453 0.02198 0.12903 0.11771 0.60862
INFLO 10 0.00000 -0.01300 0.08910 0.07726 0.19231 0.18181 0.91131
INFLO 13 0.07692 0.06492 0.09661 0.08487 0.20000 0.18960 0.86146
COF 9 0.23077 0.22077 0.13282 0.12155 0.29412 0.28494 0.85754
COF 10 0.15385 0.14285 0.13411 0.12285 0.34286 0.33431 0.84962
COF 15 0.23077 0.22077 0.15372 0.14272 0.33333 0.32467 0.81438

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 9 attributes, 1013 objects, 13 outliers (1.28%)

Download raw algorithm results (8.3 MB) Download raw algorithm evaluation table (44.2 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 3 0.30769 0.29869 0.17029 0.15950 0.30769 0.29869 0.95612
KNN 5 0.23077 0.22077 0.21836 0.20820 0.41935 0.41181 0.97554
KNN 7 0.23077 0.22077 0.22106 0.21094 0.36364 0.35536 0.97469
KNNW 3 0.23077 0.22077 0.10434 0.09270 0.25000 0.24025 0.71292
KNNW 11 0.23077 0.22077 0.17829 0.16761 0.29851 0.28939 0.96300
KNNW 13 0.23077 0.22077 0.18272 0.17209 0.29630 0.28715 0.96454
LOF 1 0.23077 0.22077 0.11611 0.10462 0.30000 0.29090 0.50508
LOF 13 0.23077 0.22077 0.22762 0.21758 0.43902 0.43173 0.97000
LOF 14 0.23077 0.22077 0.23569 0.22576 0.45000 0.44285 0.96992
LOF 15 0.23077 0.22077 0.23437 0.22441 0.46154 0.45454 0.96777
SimplifiedLOF 2 0.23077 0.22077 0.11348 0.10196 0.27273 0.26327 0.66573
SimplifiedLOF 19 0.23077 0.22077 0.21480 0.20460 0.36364 0.35536 0.97146
SimplifiedLOF 58 0.07692 0.06492 0.17847 0.16779 0.43137 0.42398 0.96285
LoOP 2 0.23077 0.22077 0.11412 0.10261 0.28571 0.27643 0.70038
LoOP 23 0.15385 0.14285 0.21215 0.20191 0.38710 0.37913 0.96646
LoOP 24 0.15385 0.14285 0.22070 0.21057 0.39286 0.38496 0.96623
LoOP 74 0.07692 0.06492 0.17328 0.16253 0.41509 0.40749 0.95923
LDOF 12 0.23077 0.22077 0.08957 0.07773 0.24390 0.23407 0.72069
LDOF 42 0.15385 0.14285 0.19395 0.18347 0.35897 0.35064 0.96569
LDOF 47 0.15385 0.14285 0.18468 0.17408 0.34483 0.33631 0.96731
LDOF 55 0.15385 0.14285 0.17327 0.16253 0.37736 0.36926 0.96377
ODIN 36 0.23077 0.22077 0.25571 0.24603 0.48649 0.47981 0.95677
ODIN 51 0.23077 0.22077 0.28686 0.27759 0.54545 0.53955 0.96335
ODIN 53 0.23077 0.22077 0.29964 0.29053 0.56250 0.55681 0.96242
ODIN 64 0.23077 0.22077 0.30670 0.29769 0.56250 0.55681 0.92838
FastABOD 3 0.15385 0.14285 0.05691 0.04465 0.18182 0.17118 0.64262
FastABOD 56 0.15385 0.14285 0.06300 0.05082 0.20690 0.19659 0.57792
FastABOD 98 0.15385 0.14285 0.06455 0.05239 0.20690 0.19659 0.57446
KDEOS 48 0.07692 0.06492 0.07433 0.06230 0.13333 0.12207 0.86038
KDEOS 59 0.07692 0.06492 0.08384 0.07193 0.13333 0.12207 0.83708
KDEOS 69 0.15385 0.14285 0.06337 0.05120 0.18182 0.17118 0.84231
KDEOS 80 0.07692 0.06492 0.06705 0.05492 0.20000 0.18960 0.85262
LDF 2 0.30769 0.29869 0.15252 0.14151 0.32258 0.31377 0.76677
LDF 13 0.23077 0.22077 0.27034 0.26085 0.53659 0.53056 0.97077
LDF 14 0.23077 0.22077 0.26940 0.25990 0.56410 0.55844 0.96869
INFLO 1 0.23077 0.22077 0.09321 0.08142 0.23077 0.22077 0.65046
INFLO 18 0.15385 0.14285 0.19826 0.18784 0.36364 0.35536 0.95446
INFLO 57 0.07692 0.06492 0.17454 0.16381 0.38596 0.37798 0.96500
INFLO 95 0.07692 0.06492 0.15845 0.14751 0.40816 0.40047 0.93869
COF 2 0.23077 0.22077 0.10252 0.09085 0.27273 0.26327 0.62192
COF 17 0.15385 0.14285 0.12890 0.11757 0.23077 0.22077 0.94815
COF 24 0.15385 0.14285 0.12071 0.10928 0.28571 0.27643 0.93223

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO