Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Waveform (version#03)

This dataset represents 3 classes of waves. Class 0 was defined here as an outlier class and downsampled to 100 objects. After preprocessing, this database has 21 numeric attributes and 3443 instances, divided into 100 outliers (2.9%) and 3343 inliers (97.1%) [1].

References:

[1] A. Zimek, M. Gaudet, R. J. G. B. Campello, and J. Sander. Subsampling for efficient and effective unsupervised outlier detection ensembles. In Proc. KDD, pages 428-436, 2013.

Download all data set variants used (5.1 MB). You can also access the original data. (waveform.data.Z)

Normalized, without duplicates

This version contains 21 attributes, 3443 objects, 100 outliers (2.90%)

Download raw algorithm results (30.2 MB) Download raw algorithm evaluation table (62.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 29 0.22000 0.19667 0.13367 0.10776 0.22111 0.19781 0.73786
KNN 41 0.20000 0.17607 0.14290 0.11726 0.21395 0.19044 0.74186
KNN 100 0.22000 0.19667 0.13752 0.11173 0.23645 0.21361 0.74910
KNNW 49 0.21000 0.18637 0.13169 0.10572 0.21000 0.18637 0.73286
KNNW 87 0.21000 0.18637 0.13687 0.11105 0.21569 0.19222 0.73904
KNNW 100 0.21000 0.18637 0.13695 0.11114 0.21569 0.19222 0.74027
LOF 93 0.18000 0.15547 0.12171 0.09543 0.19820 0.17421 0.73119
LOF 100 0.18000 0.15547 0.12155 0.09527 0.20276 0.17892 0.73225
SimplifiedLOF 4 0.14000 0.11427 0.09037 0.06316 0.18182 0.15734 0.63439
SimplifiedLOF 5 0.17000 0.14517 0.08542 0.05806 0.17442 0.14972 0.64500
SimplifiedLOF 99 0.16000 0.13487 0.10583 0.07908 0.17797 0.15338 0.71243
SimplifiedLOF 100 0.17000 0.14517 0.10695 0.08023 0.17797 0.15338 0.71214
LoOP 5 0.16000 0.13487 0.08336 0.05594 0.17964 0.15510 0.64163
LoOP 95 0.15000 0.12457 0.10196 0.07510 0.17188 0.14710 0.70619
LoOP 100 0.16000 0.13487 0.09738 0.07038 0.17814 0.15355 0.70803
LDOF 9 0.13000 0.10398 0.05625 0.02802 0.13333 0.10741 0.63762
LDOF 38 0.11000 0.08338 0.07224 0.04449 0.11650 0.09008 0.63746
LDOF 75 0.12000 0.09368 0.06716 0.03925 0.13636 0.11053 0.65145
LDOF 98 0.12000 0.09368 0.06196 0.03390 0.12060 0.09430 0.66208
ODIN 91 0.10071 0.07381 0.06666 0.03874 0.11765 0.09125 0.68162
ODIN 97 0.11000 0.08338 0.06472 0.03675 0.12030 0.09399 0.68277
ODIN 100 0.10400 0.07720 0.06567 0.03772 0.12355 0.09733 0.68380
FastABOD 5 0.11000 0.08338 0.05439 0.02611 0.13146 0.10547 0.62235
FastABOD 11 0.10000 0.07308 0.05879 0.03064 0.11255 0.08601 0.63481
FastABOD 17 0.06000 0.03188 0.05284 0.02450 0.10409 0.07729 0.63964
KDEOS 5 0.04000 0.01128 0.04666 0.01814 0.06786 0.03998 0.54769
KDEOS 6 0.04000 0.01128 0.05029 0.02188 0.07044 0.04264 0.56977
KDEOS 98 0.01000 -0.01961 0.03362 0.00471 0.07852 0.05096 0.58507
KDEOS 100 0.01000 -0.01961 0.03336 0.00445 0.07805 0.05048 0.58757
LDF 14 0.31000 0.28936 0.18631 0.16197 0.31472 0.29422 0.73684
LDF 41 0.28000 0.25846 0.22080 0.19749 0.28708 0.26576 0.75908
LDF 77 0.24000 0.21727 0.18402 0.15961 0.26794 0.24604 0.76573
INFLO 5 0.17000 0.14517 0.07600 0.04836 0.17617 0.15152 0.63329
INFLO 92 0.16000 0.13487 0.08643 0.05910 0.17757 0.15297 0.70115
INFLO 94 0.16000 0.13487 0.08969 0.06246 0.17757 0.15297 0.70221
INFLO 100 0.15000 0.12457 0.08871 0.06145 0.17040 0.14559 0.70511
COF 53 0.26000 0.23786 0.20749 0.18378 0.30409 0.28328 0.71818
COF 59 0.29000 0.26876 0.22134 0.19805 0.29744 0.27642 0.72139
COF 81 0.23000 0.20697 0.22580 0.20264 0.27778 0.25617 0.73269
COF 88 0.26000 0.23786 0.23223 0.20926 0.28571 0.26435 0.72494

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 3443 objects, 100 outliers (2.90%)

Download raw algorithm results (30.2 MB) Download raw algorithm evaluation table (63.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 42 0.27000 0.24816 0.18103 0.15653 0.27000 0.24816 0.74763
KNN 88 0.24000 0.21727 0.19567 0.17161 0.27545 0.25378 0.76164
KNN 92 0.24000 0.21727 0.19431 0.17021 0.28395 0.26253 0.76107
KNNW 56 0.23000 0.20697 0.16933 0.14448 0.25767 0.23546 0.74159
KNNW 94 0.24000 0.21727 0.17582 0.15117 0.25455 0.23225 0.74844
KNNW 100 0.24000 0.21727 0.17767 0.15307 0.25610 0.23385 0.74921
LOF 94 0.23000 0.20697 0.15697 0.13175 0.24204 0.21937 0.74485
LOF 99 0.23000 0.20697 0.16210 0.13704 0.23899 0.21623 0.74498
SimplifiedLOF 87 0.18000 0.15547 0.11782 0.09143 0.19383 0.16972 0.71675
SimplifiedLOF 97 0.18000 0.15547 0.11965 0.09331 0.20370 0.17988 0.71969
SimplifiedLOF 99 0.18000 0.15547 0.12058 0.09427 0.20561 0.18184 0.71955
SimplifiedLOF 100 0.18000 0.15547 0.12105 0.09476 0.20276 0.17892 0.71958
LoOP 95 0.17000 0.14517 0.11072 0.08412 0.18884 0.16458 0.71325
LoOP 97 0.17000 0.14517 0.11101 0.08441 0.18447 0.16007 0.71413
LoOP 99 0.18000 0.15547 0.11133 0.08475 0.18803 0.16375 0.71402
LoOP 100 0.18000 0.15547 0.11161 0.08504 0.18565 0.16129 0.71405
LDOF 64 0.12000 0.09368 0.07112 0.04333 0.15484 0.12956 0.65202
LDOF 68 0.12000 0.09368 0.07157 0.04380 0.14815 0.12267 0.65912
LDOF 86 0.13000 0.10398 0.06574 0.03779 0.13636 0.11053 0.66907
LDOF 97 0.13000 0.10398 0.06550 0.03754 0.13065 0.10465 0.67502
ODIN 73 0.10360 0.07679 0.05348 0.02517 0.10784 0.08116 0.66764
ODIN 100 0.09000 0.06278 0.05850 0.03034 0.10833 0.08166 0.68261
FastABOD 5 0.05000 0.02158 0.03029 0.00128 0.05834 0.03017 0.48331
FastABOD 9 0.05000 0.02158 0.03284 0.00391 0.07143 0.04365 0.49953
FastABOD 19 0.04000 0.01128 0.03225 0.00331 0.06025 0.03214 0.50196
FastABOD 57 0.04000 0.01128 0.03492 0.00605 0.06127 0.03319 0.48955
KDEOS 3 0.05000 0.02158 0.03622 0.00739 0.07771 0.05012 0.52774
KDEOS 100 0.01000 -0.01961 0.03225 0.00330 0.07480 0.04713 0.57596
LDF 46 0.36000 0.34086 0.28901 0.26774 0.36181 0.34272 0.77449
LDF 47 0.36000 0.34086 0.29058 0.26936 0.36735 0.34842 0.77756
LDF 50 0.36000 0.34086 0.28950 0.26825 0.36250 0.34343 0.77934
LDF 55 0.35000 0.33056 0.29221 0.27103 0.36471 0.34570 0.77463
INFLO 5 0.15000 0.12457 0.07297 0.04524 0.15152 0.12613 0.61248
INFLO 6 0.15000 0.12457 0.07844 0.05087 0.17778 0.15318 0.61547
INFLO 92 0.15000 0.12457 0.10111 0.07422 0.15652 0.13129 0.71786
INFLO 100 0.15000 0.12457 0.10420 0.07740 0.16594 0.14099 0.71768
COF 70 0.29000 0.26876 0.25421 0.23190 0.30939 0.28873 0.71809
COF 90 0.28000 0.25846 0.27001 0.24817 0.32927 0.30920 0.72906
COF 98 0.29000 0.26876 0.27589 0.25423 0.32558 0.30541 0.72924
COF 100 0.29000 0.26876 0.27545 0.25378 0.32768 0.30757 0.73397

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO