Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Waveform (version#08)

This dataset represents 3 classes of waves. Class 0 was defined here as an outlier class and downsampled to 100 objects. After preprocessing, this database has 21 numeric attributes and 3443 instances, divided into 100 outliers (2.9%) and 3343 inliers (97.1%) [1].

References:

[1] A. Zimek, M. Gaudet, R. J. G. B. Campello, and J. Sander. Subsampling for efficient and effective unsupervised outlier detection ensembles. In Proc. KDD, pages 428-436, 2013.

Download all data set variants used (5.1 MB). You can also access the original data. (waveform.data.Z)

Normalized, without duplicates

This version contains 21 attributes, 3443 objects, 100 outliers (2.90%)

Download raw algorithm results (30.2 MB) Download raw algorithm evaluation table (62.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 4 0.23000 0.20697 0.17257 0.14782 0.23958 0.21684 0.72092
KNN 79 0.22000 0.19667 0.19533 0.17126 0.24727 0.22476 0.76098
KNN 90 0.22000 0.19667 0.19884 0.17488 0.24113 0.21843 0.76303
KNN 98 0.22000 0.19667 0.19614 0.17209 0.24028 0.21756 0.76486
KNNW 20 0.23000 0.20697 0.17065 0.14584 0.23000 0.20697 0.73122
KNNW 67 0.22000 0.19667 0.18878 0.16451 0.23656 0.21372 0.74935
KNNW 83 0.22000 0.19667 0.19021 0.16598 0.23280 0.20985 0.75184
KNNW 100 0.22000 0.19667 0.18984 0.16560 0.23396 0.21105 0.75405
LOF 77 0.22000 0.19667 0.17458 0.14989 0.22785 0.20475 0.74422
LOF 79 0.21000 0.18637 0.17506 0.15038 0.23226 0.20929 0.74484
LOF 81 0.21000 0.18637 0.17551 0.15085 0.22819 0.20510 0.74512
LOF 100 0.22000 0.19667 0.17429 0.14959 0.22680 0.20368 0.74807
SimplifiedLOF 52 0.19000 0.16577 0.12473 0.09855 0.19178 0.16760 0.70715
SimplifiedLOF 79 0.18000 0.15547 0.13737 0.11157 0.22222 0.19896 0.71486
SimplifiedLOF 95 0.19000 0.16577 0.14714 0.12163 0.21053 0.18691 0.71713
SimplifiedLOF 96 0.19000 0.16577 0.14688 0.12136 0.20732 0.18361 0.71728
LoOP 76 0.18000 0.15547 0.12890 0.10284 0.21687 0.19344 0.70929
LoOP 91 0.18000 0.15547 0.13820 0.11243 0.19890 0.17493 0.71354
LoOP 96 0.18000 0.15547 0.13435 0.10845 0.20118 0.17729 0.71488
LoOP 99 0.19000 0.16577 0.13346 0.10754 0.20112 0.17722 0.71330
LDOF 15 0.14000 0.11427 0.07176 0.04399 0.16143 0.13635 0.67656
LDOF 17 0.15000 0.12457 0.07525 0.04759 0.15306 0.12773 0.67441
LDOF 83 0.12000 0.09368 0.07897 0.05142 0.14232 0.11667 0.67758
LDOF 92 0.13000 0.10398 0.07397 0.04626 0.14493 0.11935 0.68008
ODIN 76 0.13000 0.10398 0.06737 0.03947 0.13265 0.10671 0.68136
ODIN 93 0.12000 0.09368 0.07356 0.04585 0.13559 0.10974 0.68934
ODIN 94 0.12263 0.09639 0.07499 0.04732 0.12658 0.10046 0.68962
ODIN 100 0.12118 0.09489 0.07075 0.04296 0.13408 0.10818 0.69322
FastABOD 6 0.12000 0.09368 0.06436 0.03637 0.13139 0.10540 0.65373
FastABOD 10 0.11000 0.08338 0.06665 0.03873 0.12366 0.09744 0.66734
FastABOD 22 0.09000 0.06278 0.05988 0.03176 0.12568 0.09953 0.66997
KDEOS 9 0.08000 0.05248 0.04061 0.01191 0.09009 0.06287 0.56585
KDEOS 13 0.06000 0.03188 0.04267 0.01403 0.10048 0.07357 0.58895
KDEOS 18 0.07000 0.04218 0.04415 0.01556 0.09114 0.06395 0.59429
LDF 26 0.27000 0.24816 0.25013 0.22770 0.29371 0.27258 0.74707
LDF 43 0.26000 0.23786 0.24261 0.21995 0.31507 0.29458 0.76421
LDF 56 0.30000 0.27906 0.23502 0.21213 0.30392 0.28310 0.77021
LDF 99 0.26000 0.23786 0.23207 0.20910 0.28409 0.26268 0.78378
INFLO 68 0.19000 0.16577 0.11850 0.09214 0.19095 0.16675 0.70767
INFLO 99 0.15000 0.12457 0.12432 0.09813 0.19214 0.16797 0.71566
INFLO 100 0.16000 0.13487 0.12506 0.09888 0.19469 0.17060 0.71561
COF 69 0.30000 0.27906 0.22722 0.20411 0.30303 0.28218 0.70259
COF 82 0.27000 0.24816 0.23672 0.21389 0.32530 0.30512 0.70848
COF 91 0.29000 0.26876 0.24147 0.21878 0.30851 0.28783 0.71213
COF 99 0.27000 0.24816 0.22918 0.20612 0.27692 0.25529 0.71892

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 3443 objects, 100 outliers (2.90%)

Download raw algorithm results (30.2 MB) Download raw algorithm evaluation table (62.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 32 0.28000 0.25846 0.24491 0.22233 0.30000 0.27906 0.76020
KNN 39 0.27000 0.24816 0.24669 0.22416 0.31373 0.29320 0.76268
KNN 83 0.27000 0.24816 0.25639 0.23415 0.30120 0.28030 0.77166
KNN 100 0.27000 0.24816 0.25532 0.23305 0.29586 0.27479 0.77341
KNNW 84 0.27000 0.24816 0.23897 0.21621 0.29870 0.27772 0.75827
KNNW 86 0.27000 0.24816 0.23923 0.21648 0.30065 0.27973 0.75862
KNNW 98 0.27000 0.24816 0.24216 0.21949 0.30065 0.27973 0.76028
KNNW 100 0.27000 0.24816 0.24213 0.21946 0.29870 0.27772 0.76051
LOF 69 0.25000 0.22757 0.20597 0.18222 0.30000 0.27906 0.75206
LOF 73 0.26000 0.23786 0.20980 0.18616 0.28966 0.26841 0.75278
LOF 99 0.25000 0.22757 0.22417 0.20096 0.29371 0.27258 0.75829
SimplifiedLOF 95 0.21000 0.18637 0.17607 0.15143 0.27143 0.24963 0.72344
SimplifiedLOF 97 0.22000 0.19667 0.17599 0.15134 0.26573 0.24377 0.72402
SimplifiedLOF 99 0.22000 0.19667 0.17833 0.15375 0.26761 0.24570 0.72455
SimplifiedLOF 100 0.22000 0.19667 0.17960 0.15506 0.26761 0.24570 0.72453
LoOP 59 0.21000 0.18637 0.13080 0.10480 0.21106 0.18746 0.70716
LoOP 95 0.20000 0.17607 0.16665 0.14172 0.25714 0.23492 0.71876
LoOP 100 0.20000 0.17607 0.16638 0.14144 0.25000 0.22757 0.72018
LDOF 63 0.14000 0.11427 0.08077 0.05328 0.16271 0.13767 0.68851
LDOF 65 0.15000 0.12457 0.08509 0.05773 0.15190 0.12653 0.68921
LDOF 67 0.15000 0.12457 0.08666 0.05934 0.15385 0.12853 0.68946
LDOF 100 0.12000 0.09368 0.08451 0.05712 0.16260 0.13755 0.69955
ODIN 87 0.11259 0.08605 0.06671 0.03879 0.12739 0.10129 0.68471
ODIN 93 0.11870 0.09233 0.06662 0.03870 0.12273 0.09649 0.68992
ODIN 98 0.10900 0.08235 0.06686 0.03894 0.12621 0.10008 0.69291
ODIN 99 0.11467 0.08818 0.06772 0.03984 0.12683 0.10071 0.69265
FastABOD 3 0.05000 0.02158 0.03044 0.00144 0.06125 0.03317 0.49917
FastABOD 10 0.04000 0.01128 0.03543 0.00658 0.06972 0.04189 0.53464
FastABOD 13 0.03000 0.00098 0.03597 0.00714 0.07437 0.04668 0.53163
FastABOD 46 0.02000 -0.00931 0.03750 0.00871 0.06593 0.03799 0.52047
KDEOS 16 0.03000 0.00098 0.03773 0.00894 0.08915 0.06190 0.57389
KDEOS 21 0.06000 0.03188 0.03581 0.00697 0.07524 0.04757 0.56709
LDF 52 0.34000 0.32026 0.31764 0.29723 0.35749 0.33827 0.79352
LDF 54 0.35000 0.33056 0.31360 0.29307 0.35533 0.33605 0.79211
LDF 83 0.34000 0.32026 0.30786 0.28716 0.36449 0.34548 0.79724
LDF 95 0.34000 0.32026 0.30312 0.28227 0.34951 0.33006 0.79956
INFLO 58 0.19000 0.16577 0.11836 0.09198 0.19000 0.16577 0.71047
INFLO 89 0.19000 0.16577 0.14768 0.12218 0.23022 0.20719 0.71410
INFLO 100 0.19000 0.16577 0.14857 0.12310 0.22059 0.19727 0.71960
COF 54 0.25000 0.22757 0.22759 0.20449 0.30882 0.28815 0.70434
COF 81 0.29000 0.26876 0.24832 0.22583 0.30526 0.28448 0.71461
COF 83 0.29000 0.26876 0.25049 0.22807 0.29545 0.27438 0.71696
COF 96 0.25000 0.22757 0.24694 0.22441 0.29008 0.26884 0.72778

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO