Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Waveform (version#05)

This dataset represents 3 classes of waves. Class 0 was defined here as an outlier class and downsampled to 100 objects. After preprocessing, this database has 21 numeric attributes and 3443 instances, divided into 100 outliers (2.9%) and 3343 inliers (97.1%) [1].

References:

[1] A. Zimek, M. Gaudet, R. J. G. B. Campello, and J. Sander. Subsampling for efficient and effective unsupervised outlier detection ensembles. In Proc. KDD, pages 428-436, 2013.

Download all data set variants used (5.1 MB). You can also access the original data. (waveform.data.Z)

Normalized, without duplicates

This version contains 21 attributes, 3443 objects, 100 outliers (2.90%)

Download raw algorithm results (30.2 MB) Download raw algorithm evaluation table (64.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 9 0.15000 0.12457 0.13257 0.10663 0.23684 0.21401 0.77696
KNN 94 0.21000 0.18637 0.15511 0.12983 0.22222 0.19896 0.78710
KNN 96 0.21000 0.18637 0.15551 0.13025 0.21910 0.19574 0.78697
KNN 98 0.22000 0.19667 0.15548 0.13022 0.22111 0.19781 0.78702
KNNW 38 0.18000 0.15547 0.14016 0.11444 0.23810 0.21530 0.78012
KNNW 44 0.19000 0.16577 0.14028 0.11456 0.23256 0.20960 0.78026
KNNW 100 0.19000 0.16577 0.14747 0.12197 0.22807 0.20498 0.78311
LOF 88 0.18000 0.15547 0.12450 0.09831 0.22552 0.20235 0.77145
LOF 91 0.18000 0.15547 0.12558 0.09942 0.22754 0.20444 0.77186
LOF 100 0.17000 0.14517 0.12785 0.10176 0.22353 0.20030 0.77252
SimplifiedLOF 3 0.14000 0.11427 0.06800 0.04013 0.14000 0.11427 0.67822
SimplifiedLOF 99 0.12000 0.09368 0.10680 0.08008 0.20497 0.18119 0.75102
SimplifiedLOF 100 0.11000 0.08338 0.10688 0.08017 0.20625 0.18251 0.75094
LoOP 3 0.13000 0.10398 0.06675 0.03883 0.13761 0.11182 0.67710
LoOP 97 0.12000 0.09368 0.10067 0.07377 0.19512 0.17105 0.74346
LoOP 100 0.11000 0.08338 0.10105 0.07415 0.19886 0.17490 0.74288
LDOF 13 0.11000 0.08338 0.05929 0.03115 0.11765 0.09125 0.69001
LDOF 72 0.08000 0.05248 0.06911 0.04126 0.15000 0.12457 0.71271
LDOF 89 0.08000 0.05248 0.07437 0.04668 0.14572 0.12017 0.72025
LDOF 99 0.08000 0.05248 0.07278 0.04504 0.14350 0.11788 0.72449
ODIN 15 0.09910 0.07215 0.05340 0.02509 0.10444 0.07765 0.66061
ODIN 94 0.06400 0.03600 0.06743 0.03953 0.14218 0.11652 0.72750
ODIN 99 0.07000 0.04218 0.06727 0.03937 0.13853 0.11276 0.72820
FastABOD 4 0.09000 0.06278 0.05849 0.03033 0.10933 0.08269 0.67701
FastABOD 7 0.06000 0.03188 0.06823 0.04036 0.13115 0.10516 0.71806
FastABOD 15 0.07000 0.04218 0.06417 0.03618 0.12214 0.09588 0.72065
FastABOD 33 0.06000 0.03188 0.06091 0.03282 0.13402 0.10812 0.71847
KDEOS 7 0.07000 0.04218 0.04294 0.01431 0.08087 0.05338 0.61919
KDEOS 24 0.05000 0.02158 0.04724 0.01874 0.07680 0.04918 0.59168
KDEOS 87 0.05000 0.02158 0.04259 0.01395 0.09159 0.06442 0.63740
KDEOS 100 0.07000 0.04218 0.04336 0.01475 0.08944 0.06220 0.64378
LDF 35 0.26000 0.23786 0.22430 0.20110 0.28108 0.25958 0.78455
LDF 37 0.28000 0.25846 0.21930 0.19595 0.28426 0.26285 0.78526
LDF 42 0.25000 0.22757 0.21319 0.18966 0.29565 0.27458 0.78349
LDF 76 0.24000 0.21727 0.18552 0.16116 0.24762 0.22511 0.79580
INFLO 3 0.13000 0.10398 0.06609 0.03816 0.13537 0.10951 0.67252
INFLO 88 0.10000 0.07308 0.09093 0.06373 0.16777 0.14288 0.73676
INFLO 90 0.10000 0.07308 0.09612 0.06908 0.17552 0.15086 0.72964
INFLO 91 0.11000 0.08338 0.09160 0.06442 0.17840 0.15383 0.73041
COF 43 0.28000 0.25846 0.21459 0.19110 0.28723 0.26591 0.76900
COF 51 0.24000 0.21727 0.20449 0.18070 0.26432 0.24231 0.77994
COF 56 0.28000 0.25846 0.22234 0.19908 0.29630 0.27525 0.77630
COF 79 0.27000 0.24816 0.23331 0.21037 0.27000 0.24816 0.76323

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 3443 objects, 100 outliers (2.90%)

Download raw algorithm results (30.2 MB) Download raw algorithm evaluation table (65.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 38 0.25000 0.22757 0.19463 0.17054 0.26415 0.24214 0.78556
KNN 73 0.22000 0.19667 0.19982 0.17589 0.28571 0.26435 0.79508
KNN 90 0.22000 0.19667 0.20373 0.17991 0.27439 0.25268 0.79739
KNN 99 0.23000 0.20697 0.20261 0.17876 0.27108 0.24928 0.79806
KNNW 26 0.24000 0.21727 0.17167 0.14690 0.25444 0.23214 0.78850
KNNW 99 0.22000 0.19667 0.19339 0.16926 0.26667 0.24473 0.79211
KNNW 100 0.22000 0.19667 0.19346 0.16933 0.26667 0.24473 0.79217
LOF 66 0.20000 0.17607 0.14707 0.12155 0.24332 0.22069 0.78076
LOF 96 0.20000 0.17607 0.17681 0.15218 0.26708 0.24516 0.78301
SimplifiedLOF 4 0.17000 0.14517 0.07382 0.04611 0.17172 0.14694 0.68863
SimplifiedLOF 99 0.17000 0.14517 0.13020 0.10418 0.22152 0.19823 0.76196
SimplifiedLOF 100 0.16000 0.13487 0.12745 0.10135 0.21843 0.19505 0.76197
LoOP 99 0.16000 0.13487 0.11769 0.09130 0.20988 0.18624 0.75508
LoOP 100 0.15000 0.12457 0.11764 0.09124 0.21317 0.18963 0.75515
LDOF 3 0.13000 0.10398 0.07154 0.04377 0.14226 0.11660 0.66833
LDOF 8 0.13000 0.10398 0.08050 0.05299 0.15029 0.12487 0.69010
LDOF 95 0.08000 0.05248 0.07707 0.04946 0.16495 0.13997 0.73498
LDOF 100 0.09000 0.06278 0.07810 0.05052 0.15833 0.13316 0.73779
ODIN 25 0.09743 0.07043 0.05537 0.02711 0.10117 0.07428 0.66564
ODIN 97 0.05667 0.02845 0.06954 0.04171 0.14756 0.12206 0.73029
ODIN 98 0.05000 0.02158 0.06851 0.04064 0.14767 0.12217 0.72999
FastABOD 4 0.04000 0.01128 0.03672 0.00790 0.07783 0.05025 0.56471
FastABOD 6 0.03000 0.00098 0.03750 0.00871 0.08262 0.05517 0.59148
FastABOD 7 0.03000 0.00098 0.03867 0.00991 0.08156 0.05409 0.59490
KDEOS 5 0.05000 0.02158 0.04908 0.02064 0.09790 0.07092 0.64207
KDEOS 9 0.08000 0.05248 0.04911 0.02066 0.09393 0.06682 0.62694
LDF 56 0.31000 0.28936 0.27027 0.24844 0.33333 0.31339 0.81475
LDF 57 0.30000 0.27906 0.27094 0.24913 0.32900 0.30893 0.81345
LDF 66 0.32000 0.29966 0.26447 0.24247 0.32850 0.30842 0.81095
LDF 76 0.31000 0.28936 0.26706 0.24514 0.33654 0.31669 0.81086
INFLO 7 0.15000 0.12457 0.08314 0.05571 0.15789 0.13270 0.68208
INFLO 88 0.11000 0.08338 0.10129 0.07441 0.18232 0.15786 0.74036
INFLO 96 0.12000 0.09368 0.10524 0.07847 0.19048 0.16626 0.73832
INFLO 99 0.14000 0.11427 0.10595 0.07920 0.18519 0.16081 0.73911
COF 56 0.30000 0.27906 0.23483 0.21194 0.30303 0.28218 0.78044
COF 82 0.26000 0.23786 0.26938 0.24753 0.32394 0.30372 0.78289
COF 85 0.30000 0.27906 0.26916 0.24730 0.31206 0.29148 0.78590
COF 96 0.27000 0.24816 0.27837 0.25678 0.31250 0.29193 0.78051

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO