Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Waveform (version#06)

This dataset represents 3 classes of waves. Class 0 was defined here as an outlier class and downsampled to 100 objects. After preprocessing, this database has 21 numeric attributes and 3443 instances, divided into 100 outliers (2.9%) and 3343 inliers (97.1%) [1].

References:

[1] A. Zimek, M. Gaudet, R. J. G. B. Campello, and J. Sander. Subsampling for efficient and effective unsupervised outlier detection ensembles. In Proc. KDD, pages 428-436, 2013.

Download all data set variants used (5.1 MB). You can also access the original data. (waveform.data.Z)

Normalized, without duplicates

This version contains 21 attributes, 3443 objects, 100 outliers (2.90%)

Download raw algorithm results (30.1 MB) Download raw algorithm evaluation table (66.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 26 0.19000 0.16577 0.13726 0.11146 0.22074 0.19743 0.74977
KNN 87 0.17000 0.14517 0.14268 0.11703 0.21754 0.19414 0.76395
KNN 97 0.18000 0.15547 0.14587 0.12032 0.21951 0.19617 0.76257
KNN 100 0.18000 0.15547 0.14366 0.11804 0.22917 0.20611 0.76263
KNNW 57 0.17000 0.14517 0.13049 0.10448 0.20741 0.18370 0.74876
KNNW 87 0.16000 0.13487 0.13436 0.10847 0.22137 0.19808 0.75311
KNNW 100 0.16000 0.13487 0.13577 0.10991 0.22137 0.19808 0.75458
LOF 88 0.15000 0.12457 0.11881 0.09245 0.21311 0.18958 0.74389
LOF 90 0.16000 0.13487 0.11932 0.09298 0.20968 0.18604 0.74439
LOF 96 0.16000 0.13487 0.12521 0.09904 0.20772 0.18402 0.74502
LOF 100 0.16000 0.13487 0.12637 0.10024 0.20896 0.18529 0.74456
SimplifiedLOF 82 0.13000 0.10398 0.09260 0.06545 0.17568 0.15102 0.71053
SimplifiedLOF 97 0.12000 0.09368 0.10017 0.07325 0.18430 0.15990 0.71523
SimplifiedLOF 100 0.12000 0.09368 0.10089 0.07399 0.18243 0.15798 0.71596
LoOP 82 0.12000 0.09368 0.08794 0.06066 0.16508 0.14010 0.70614
LoOP 93 0.10000 0.07308 0.09232 0.06516 0.18065 0.15614 0.70960
LoOP 99 0.11000 0.08338 0.09582 0.06877 0.17891 0.15435 0.71108
LoOP 100 0.11000 0.08338 0.09591 0.06887 0.18006 0.15554 0.71097
LDOF 48 0.09000 0.06278 0.05195 0.02360 0.11461 0.08813 0.65128
LDOF 94 0.08000 0.05248 0.05875 0.03060 0.12531 0.09915 0.68102
LDOF 98 0.09000 0.06278 0.05979 0.03167 0.12202 0.09575 0.68236
LDOF 99 0.08000 0.05248 0.05963 0.03150 0.12022 0.09390 0.68284
ODIN 58 0.06029 0.03218 0.04723 0.01873 0.09310 0.06597 0.66290
ODIN 99 0.04609 0.01755 0.05445 0.02616 0.11009 0.08347 0.68920
ODIN 100 0.04708 0.01858 0.05475 0.02647 0.11152 0.08495 0.68918
FastABOD 9 0.07000 0.04218 0.04622 0.01769 0.12709 0.10098 0.60505
FastABOD 12 0.05000 0.02158 0.04643 0.01790 0.10526 0.07850 0.61401
FastABOD 100 0.03000 0.00098 0.04523 0.01667 0.09457 0.06749 0.63670
KDEOS 10 0.06000 0.03188 0.03604 0.00721 0.07895 0.05140 0.54684
KDEOS 100 0.03000 0.00098 0.03467 0.00580 0.07563 0.04797 0.58873
LDF 31 0.26000 0.23786 0.21058 0.18696 0.29493 0.27384 0.76141
LDF 32 0.28000 0.25846 0.21064 0.18703 0.28141 0.25991 0.76019
LDF 38 0.26000 0.23786 0.21955 0.19621 0.27313 0.25138 0.76356
LDF 79 0.22000 0.19667 0.18781 0.16351 0.23970 0.21696 0.77504
INFLO 88 0.11000 0.08338 0.08767 0.06038 0.14465 0.11907 0.69842
INFLO 90 0.10000 0.07308 0.08894 0.06169 0.14650 0.12097 0.70304
INFLO 100 0.11000 0.08338 0.09163 0.06445 0.15385 0.12853 0.69952
COF 57 0.21000 0.18637 0.17550 0.15084 0.25180 0.22942 0.75728
COF 68 0.26000 0.23786 0.19025 0.16602 0.26943 0.24758 0.74554
COF 73 0.24000 0.21727 0.19940 0.17545 0.27692 0.25529 0.73722
COF 86 0.24000 0.21727 0.21623 0.19279 0.26829 0.24640 0.74292

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 3443 objects, 100 outliers (2.90%)

Download raw algorithm results (30.2 MB) Download raw algorithm evaluation table (65.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 32 0.25000 0.22757 0.17061 0.14580 0.25668 0.23445 0.75788
KNN 68 0.24000 0.21727 0.18863 0.16436 0.26923 0.24737 0.76669
KNN 99 0.22000 0.19667 0.19391 0.16980 0.25641 0.23417 0.77294
KNN 100 0.22000 0.19667 0.19329 0.16916 0.25641 0.23417 0.77322
KNNW 77 0.24000 0.21727 0.16480 0.13982 0.24121 0.21851 0.75941
KNNW 100 0.23000 0.20697 0.17173 0.14695 0.25556 0.23329 0.76226
LOF 96 0.23000 0.20697 0.15635 0.13111 0.23469 0.21180 0.75626
LOF 98 0.23000 0.20697 0.15670 0.13147 0.23590 0.21304 0.75645
LOF 99 0.23000 0.20697 0.15820 0.13302 0.24084 0.21813 0.75637
LOF 100 0.23000 0.20697 0.15824 0.13306 0.23711 0.21429 0.75613
SimplifiedLOF 77 0.16000 0.13487 0.10061 0.07370 0.19828 0.17429 0.71438
SimplifiedLOF 82 0.17000 0.14517 0.10409 0.07729 0.19087 0.16667 0.71512
SimplifiedLOF 100 0.17000 0.14517 0.10864 0.08197 0.18623 0.16189 0.72226
LoOP 77 0.13000 0.10398 0.09271 0.06557 0.18852 0.16425 0.70836
LoOP 90 0.17000 0.14517 0.09972 0.07279 0.18474 0.16035 0.71359
LoOP 99 0.17000 0.14517 0.10208 0.07523 0.17692 0.15230 0.71667
LoOP 100 0.17000 0.14517 0.10259 0.07575 0.17969 0.15515 0.71662
LDOF 74 0.09000 0.06278 0.06018 0.03207 0.11828 0.09190 0.67736
LDOF 89 0.08000 0.05248 0.06290 0.03486 0.12295 0.09672 0.68447
LDOF 98 0.08000 0.05248 0.06256 0.03452 0.13374 0.10783 0.68896
LDOF 100 0.08000 0.05248 0.06184 0.03378 0.12941 0.10337 0.68949
ODIN 70 0.04538 0.01683 0.04755 0.01905 0.10061 0.07371 0.66977
ODIN 96 0.03000 0.00098 0.05301 0.02468 0.11316 0.08663 0.68824
ODIN 97 0.03000 0.00098 0.05294 0.02461 0.11558 0.08912 0.68807
FastABOD 3 0.04000 0.01128 0.02707 -0.00203 0.05685 0.02864 0.44041
FastABOD 12 0.03000 0.00098 0.02933 0.00030 0.05708 0.02887 0.46660
FastABOD 49 0.01000 -0.01961 0.02895 -0.00010 0.05965 0.03153 0.49141
FastABOD 65 0.01000 -0.01961 0.02881 -0.00024 0.05851 0.03035 0.49533
KDEOS 9 0.06000 0.03188 0.04029 0.01158 0.07258 0.04484 0.53763
KDEOS 97 0.04000 0.01128 0.03323 0.00431 0.07495 0.04728 0.57526
KDEOS 100 0.03000 0.00098 0.03351 0.00460 0.07460 0.04692 0.57623
LDF 15 0.33000 0.30996 0.23022 0.20719 0.33333 0.31339 0.77349
LDF 20 0.31000 0.28936 0.27234 0.25057 0.34667 0.32712 0.77911
LDF 49 0.30000 0.27906 0.28579 0.26442 0.33333 0.31339 0.78613
LDF 83 0.29000 0.26876 0.27038 0.24855 0.30137 0.28047 0.79340
INFLO 79 0.11000 0.08338 0.08507 0.05770 0.16725 0.14234 0.69582
INFLO 90 0.13000 0.10398 0.09054 0.06334 0.16188 0.13681 0.70372
INFLO 97 0.12000 0.09368 0.09276 0.06563 0.16162 0.13654 0.71090
INFLO 100 0.13000 0.10398 0.09353 0.06641 0.16500 0.14002 0.70984
COF 73 0.27000 0.24816 0.25011 0.22767 0.32258 0.30232 0.75553
COF 88 0.30000 0.27906 0.26610 0.24415 0.30612 0.28537 0.76284
COF 96 0.28000 0.25846 0.27376 0.25203 0.30275 0.28190 0.76779

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO