Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Waveform (version#04)

This dataset represents 3 classes of waves. Class 0 was defined here as an outlier class and downsampled to 100 objects. After preprocessing, this database has 21 numeric attributes and 3443 instances, divided into 100 outliers (2.9%) and 3343 inliers (97.1%) [1].

References:

[1] A. Zimek, M. Gaudet, R. J. G. B. Campello, and J. Sander. Subsampling for efficient and effective unsupervised outlier detection ensembles. In Proc. KDD, pages 428-436, 2013.

Download all data set variants used (5.1 MB). You can also access the original data. (waveform.data.Z)

Normalized, without duplicates

This version contains 21 attributes, 3443 objects, 100 outliers (2.90%)

Download raw algorithm results (30.2 MB) Download raw algorithm evaluation table (65.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 25 0.15000 0.12457 0.10740 0.08070 0.19512 0.17105 0.74217
KNN 43 0.18000 0.15547 0.11192 0.08535 0.18375 0.15933 0.74305
KNN 57 0.19000 0.16577 0.11076 0.08416 0.19000 0.16577 0.74479
KNN 82 0.16000 0.13487 0.11058 0.08398 0.18421 0.15981 0.74592
KNNW 60 0.16000 0.13487 0.10710 0.08039 0.18773 0.16343 0.74194
KNNW 74 0.15000 0.12457 0.10738 0.08068 0.19081 0.16661 0.74261
KNNW 97 0.15000 0.12457 0.10856 0.08189 0.18685 0.16253 0.74331
KNNW 100 0.15000 0.12457 0.10851 0.08184 0.18557 0.16120 0.74338
LOF 90 0.12000 0.09368 0.09170 0.06453 0.17213 0.14737 0.72297
LOF 91 0.13000 0.10398 0.09218 0.06503 0.17143 0.14664 0.72319
LOF 100 0.13000 0.10398 0.09348 0.06636 0.17021 0.14539 0.72458
SimplifiedLOF 7 0.12000 0.09368 0.04816 0.01969 0.12371 0.09750 0.61224
SimplifiedLOF 97 0.10000 0.07308 0.07560 0.04794 0.14535 0.11978 0.70718
SimplifiedLOF 98 0.10000 0.07308 0.07511 0.04744 0.14721 0.12170 0.70722
SimplifiedLOF 100 0.10000 0.07308 0.07535 0.04769 0.14684 0.12131 0.70821
LoOP 7 0.12000 0.09368 0.04687 0.01835 0.12371 0.09750 0.60834
LoOP 95 0.10000 0.07308 0.07122 0.04343 0.13861 0.11285 0.70267
LoOP 100 0.10000 0.07308 0.07229 0.04454 0.14078 0.11507 0.70183
LDOF 5 0.09000 0.06278 0.04532 0.01676 0.09938 0.07244 0.57973
LDOF 13 0.09000 0.06278 0.04922 0.02078 0.10879 0.08213 0.62331
LDOF 100 0.08000 0.05248 0.05166 0.02330 0.10115 0.07426 0.66381
ODIN 96 0.05864 0.03048 0.05197 0.02361 0.10723 0.08052 0.67840
ODIN 98 0.06160 0.03353 0.05131 0.02294 0.10538 0.07862 0.67882
ODIN 100 0.05350 0.02519 0.05121 0.02283 0.10664 0.07991 0.67917
FastABOD 4 0.08000 0.05248 0.05003 0.02161 0.09272 0.06558 0.61252
FastABOD 14 0.04000 0.01128 0.04328 0.01466 0.09219 0.06504 0.64407
FastABOD 15 0.03000 0.00098 0.04264 0.01400 0.09533 0.06827 0.63780
KDEOS 8 0.02000 -0.00931 0.03581 0.00697 0.07973 0.05221 0.56078
KDEOS 9 0.05000 0.02158 0.03549 0.00664 0.07960 0.05207 0.56568
KDEOS 100 0.02000 -0.00931 0.03373 0.00482 0.07575 0.04810 0.58782
LDF 14 0.26000 0.23786 0.17288 0.14813 0.26168 0.23960 0.71483
LDF 32 0.23000 0.20697 0.20506 0.18128 0.26606 0.24410 0.74549
LDF 40 0.26000 0.23786 0.19696 0.17294 0.28972 0.26847 0.74098
LDF 85 0.19000 0.16577 0.15373 0.12842 0.22430 0.20110 0.74930
INFLO 5 0.10000 0.07308 0.04588 0.01734 0.10497 0.07820 0.59308
INFLO 100 0.10000 0.07308 0.06524 0.03728 0.12673 0.10061 0.68925
COF 78 0.23000 0.20697 0.18650 0.16217 0.25478 0.23249 0.71319
COF 80 0.23000 0.20697 0.18237 0.15791 0.27160 0.24982 0.70771
COF 85 0.25000 0.22757 0.18345 0.15902 0.25698 0.23476 0.71885
COF 89 0.23000 0.20697 0.17421 0.14951 0.25974 0.23760 0.72216

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 3443 objects, 100 outliers (2.90%)

Download raw algorithm results (30.2 MB) Download raw algorithm evaluation table (65.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 30 0.21000 0.18637 0.14243 0.11678 0.21818 0.19480 0.75741
KNN 61 0.18000 0.15547 0.15313 0.12779 0.24348 0.22085 0.76103
KNN 93 0.19000 0.16577 0.15884 0.13368 0.23629 0.21344 0.76451
KNN 100 0.19000 0.16577 0.15867 0.13350 0.23894 0.21617 0.76591
KNNW 74 0.20000 0.17607 0.13938 0.11364 0.22047 0.19715 0.75859
KNNW 99 0.19000 0.16577 0.14329 0.11766 0.22400 0.20079 0.76012
KNNW 100 0.19000 0.16577 0.14340 0.11777 0.22400 0.20079 0.76019
LOF 88 0.15000 0.12457 0.11172 0.08515 0.21220 0.18864 0.74393
LOF 95 0.17000 0.14517 0.11503 0.08856 0.20812 0.18443 0.74527
LOF 100 0.17000 0.14517 0.11732 0.09092 0.21024 0.18662 0.74555
SimplifiedLOF 1 0.10000 0.07308 0.05264 0.02430 0.12579 0.09964 0.54585
SimplifiedLOF 93 0.10000 0.07308 0.07945 0.05191 0.16196 0.13689 0.71774
SimplifiedLOF 100 0.10000 0.07308 0.08202 0.05457 0.15955 0.13441 0.72038
LoOP 1 0.10000 0.07308 0.05264 0.02430 0.12579 0.09964 0.54585
LoOP 95 0.09000 0.06278 0.07501 0.04734 0.15678 0.13156 0.71297
LoOP 100 0.09000 0.06278 0.07612 0.04848 0.15226 0.12690 0.71436
LDOF 12 0.08000 0.05248 0.04796 0.01948 0.08889 0.06163 0.61909
LDOF 97 0.06000 0.03188 0.05192 0.02356 0.11075 0.08415 0.66711
LDOF 100 0.06000 0.03188 0.05248 0.02414 0.10951 0.08287 0.67035
ODIN 53 0.04068 0.01199 0.04307 0.01445 0.09774 0.07075 0.65504
ODIN 99 0.02136 -0.00791 0.05004 0.02162 0.11905 0.09270 0.68420
ODIN 100 0.02286 -0.00637 0.05005 0.02164 0.11765 0.09125 0.68436
FastABOD 3 0.04000 0.01128 0.03150 0.00253 0.06004 0.03192 0.49988
FastABOD 11 0.03000 0.00098 0.02803 -0.00104 0.06084 0.03275 0.49133
KDEOS 2 0.04000 0.01128 0.03035 0.00135 0.05873 0.03057 0.51707
KDEOS 4 0.04000 0.01128 0.03650 0.00768 0.06824 0.04037 0.53814
KDEOS 99 0.03000 0.00098 0.03308 0.00416 0.07426 0.04657 0.57296
LDF 42 0.32000 0.29966 0.26458 0.24258 0.33333 0.31339 0.75857
LDF 52 0.37000 0.35115 0.26284 0.24079 0.37000 0.35115 0.76219
LDF 96 0.33000 0.30996 0.24344 0.22081 0.34225 0.32257 0.78539
INFLO 79 0.09000 0.06278 0.06162 0.03355 0.13245 0.10650 0.69455
INFLO 94 0.09000 0.06278 0.06502 0.03706 0.13861 0.11285 0.69910
INFLO 100 0.09000 0.06278 0.06624 0.03831 0.13836 0.11259 0.70243
COF 98 0.27000 0.24816 0.24353 0.22090 0.29204 0.27086 0.73346
COF 100 0.27000 0.24816 0.24372 0.22109 0.28829 0.26700 0.73424

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO