Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Waveform (version#01)

This dataset represents 3 classes of waves. Class 0 was defined here as an outlier class and downsampled to 100 objects. After preprocessing, this database has 21 numeric attributes and 3443 instances, divided into 100 outliers (2.9%) and 3343 inliers (97.1%) [1].

References:

[1] A. Zimek, M. Gaudet, R. J. G. B. Campello, and J. Sander. Subsampling for efficient and effective unsupervised outlier detection ensembles. In Proc. KDD, pages 428-436, 2013.

Download all data set variants used (5.1 MB). You can also access the original data. (waveform.data.Z)

Normalized, without duplicates

This version contains 21 attributes, 3443 objects, 100 outliers (2.90%)

Download raw algorithm results (30.1 MB) Download raw algorithm evaluation table (64.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 22 0.21000 0.18637 0.13711 0.11130 0.23810 0.21530 0.74646
KNN 60 0.23000 0.20697 0.14330 0.11767 0.23077 0.20776 0.75306
KNN 97 0.21000 0.18637 0.14767 0.12217 0.22414 0.20093 0.76130
KNN 100 0.22000 0.19667 0.14732 0.12181 0.22222 0.19896 0.76252
KNNW 67 0.21000 0.18637 0.13825 0.11247 0.23529 0.21242 0.75090
KNNW 69 0.22000 0.19667 0.13843 0.11265 0.23529 0.21242 0.75102
KNNW 92 0.22000 0.19667 0.14115 0.11546 0.23148 0.20849 0.75339
KNNW 100 0.22000 0.19667 0.14085 0.11515 0.23256 0.20960 0.75411
LOF 79 0.21000 0.18637 0.12718 0.10107 0.22134 0.19805 0.74130
LOF 92 0.21000 0.18637 0.13079 0.10479 0.22764 0.20454 0.74281
LOF 97 0.21000 0.18637 0.13069 0.10469 0.23431 0.21141 0.74239
LOF 100 0.21000 0.18637 0.13131 0.10533 0.23431 0.21141 0.74246
SimplifiedLOF 94 0.20000 0.17607 0.10539 0.07863 0.20576 0.18200 0.72629
SimplifiedLOF 100 0.19000 0.16577 0.11283 0.08629 0.21277 0.18922 0.72650
LoOP 91 0.17000 0.14517 0.09940 0.07246 0.20253 0.17868 0.71962
LoOP 94 0.19000 0.16577 0.09913 0.07218 0.19913 0.17518 0.71980
LoOP 99 0.19000 0.16577 0.10194 0.07508 0.20084 0.17693 0.72112
LoOP 100 0.19000 0.16577 0.10282 0.07598 0.20084 0.17693 0.72040
LDOF 30 0.11000 0.08338 0.05929 0.03115 0.12093 0.09463 0.68413
LDOF 87 0.11000 0.08338 0.06863 0.04077 0.14340 0.11777 0.71994
LDOF 91 0.11000 0.08338 0.06913 0.04129 0.13383 0.10792 0.72125
LDOF 100 0.10000 0.07308 0.06968 0.04185 0.12583 0.09968 0.72046
ODIN 83 0.09500 0.06793 0.05983 0.03171 0.12658 0.10046 0.69353
ODIN 100 0.07857 0.05101 0.06429 0.03630 0.13889 0.11313 0.69925
FastABOD 9 0.08000 0.05248 0.04962 0.02119 0.09645 0.06943 0.64648
FastABOD 21 0.07000 0.04218 0.05138 0.02300 0.10498 0.07821 0.67682
FastABOD 45 0.05000 0.02158 0.05031 0.02190 0.11409 0.08759 0.67136
KDEOS 12 0.08000 0.05248 0.04131 0.01264 0.08372 0.05631 0.59580
KDEOS 17 0.08000 0.05248 0.04102 0.01233 0.09434 0.06725 0.59032
KDEOS 21 0.06000 0.03188 0.04666 0.01814 0.07143 0.04365 0.57432
KDEOS 100 0.01000 -0.01961 0.03639 0.00757 0.08013 0.05261 0.61206
LDF 19 0.29000 0.26876 0.21289 0.18934 0.29146 0.27026 0.76427
LDF 24 0.25000 0.22757 0.21998 0.19665 0.30968 0.28903 0.76640
LDF 29 0.25000 0.22757 0.21541 0.19194 0.28090 0.25939 0.77617
INFLO 73 0.15000 0.12457 0.08461 0.05722 0.16988 0.14505 0.70853
INFLO 94 0.14000 0.11427 0.09177 0.06460 0.18113 0.15664 0.71460
INFLO 99 0.15000 0.12457 0.09821 0.07124 0.19048 0.16626 0.71265
INFLO 100 0.15000 0.12457 0.09874 0.07178 0.19048 0.16626 0.70931
COF 36 0.21000 0.18637 0.18006 0.15553 0.23276 0.20981 0.75882
COF 67 0.27000 0.24816 0.20574 0.18198 0.27225 0.25048 0.73926
COF 80 0.26000 0.23786 0.21165 0.18806 0.28188 0.26040 0.73945
COF 97 0.27000 0.24816 0.20435 0.18055 0.29885 0.27788 0.73544

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 3443 objects, 100 outliers (2.90%)

Download raw algorithm results (30.2 MB) Download raw algorithm evaluation table (64.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 28 0.27000 0.24816 0.17335 0.14863 0.27551 0.25384 0.75712
KNN 31 0.27000 0.24816 0.17443 0.14974 0.28421 0.26280 0.75710
KNN 91 0.27000 0.24816 0.20048 0.17657 0.27000 0.24816 0.77143
KNN 99 0.27000 0.24816 0.19939 0.17544 0.27879 0.25721 0.77452
KNNW 47 0.27000 0.24816 0.16560 0.14064 0.27230 0.25053 0.75715
KNNW 53 0.27000 0.24816 0.16944 0.14460 0.28125 0.25975 0.75812
KNNW 100 0.27000 0.24816 0.18210 0.15763 0.27723 0.25561 0.76379
LOF 87 0.23000 0.20697 0.15926 0.13411 0.25862 0.23644 0.75476
LOF 92 0.23000 0.20697 0.15934 0.13419 0.25439 0.23208 0.75584
LOF 98 0.23000 0.20697 0.16261 0.13756 0.25000 0.22757 0.75581
LOF 99 0.24000 0.21727 0.16181 0.13674 0.25455 0.23225 0.75576
SimplifiedLOF 83 0.22000 0.19667 0.12427 0.09807 0.22707 0.20395 0.73207
SimplifiedLOF 95 0.22000 0.19667 0.12577 0.09962 0.22831 0.20523 0.73337
SimplifiedLOF 99 0.22000 0.19667 0.12789 0.10180 0.22430 0.20110 0.73359
SimplifiedLOF 100 0.21000 0.18637 0.12768 0.10158 0.22326 0.20002 0.73386
LoOP 95 0.19000 0.16577 0.11681 0.09039 0.21918 0.19582 0.72548
LoOP 99 0.21000 0.18637 0.11861 0.09225 0.21739 0.19398 0.72580
LoOP 100 0.20000 0.17607 0.11822 0.09185 0.21552 0.19205 0.72708
LDOF 88 0.15000 0.12457 0.07642 0.04879 0.15000 0.12457 0.72468
LDOF 97 0.14000 0.11427 0.07561 0.04796 0.15439 0.12909 0.72553
ODIN 36 0.07299 0.04526 0.04937 0.02094 0.09796 0.07098 0.65986
ODIN 97 0.05708 0.02888 0.05833 0.03016 0.12756 0.10147 0.69957
ODIN 100 0.06136 0.03329 0.05856 0.03040 0.11905 0.09270 0.70041
FastABOD 6 0.04000 0.01128 0.03463 0.00575 0.07598 0.04834 0.54433
FastABOD 7 0.05000 0.02158 0.03250 0.00356 0.06347 0.03545 0.52943
KDEOS 13 0.07000 0.04218 0.04150 0.01283 0.07958 0.05204 0.57795
KDEOS 25 0.05000 0.02158 0.04810 0.01963 0.08197 0.05451 0.57610
KDEOS 26 0.05000 0.02158 0.03811 0.00933 0.08389 0.05648 0.57742
KDEOS 100 0.03000 0.00098 0.03476 0.00589 0.07620 0.04857 0.59604
LDF 14 0.31000 0.28936 0.26513 0.24315 0.37037 0.35154 0.76577
LDF 17 0.34000 0.32026 0.27551 0.25383 0.34555 0.32597 0.76975
LDF 22 0.33000 0.30996 0.28026 0.25873 0.34524 0.32565 0.77378
LDF 26 0.31000 0.28936 0.27291 0.25116 0.32461 0.30440 0.78374
INFLO 88 0.20000 0.17607 0.10239 0.07554 0.20952 0.18588 0.71645
INFLO 89 0.19000 0.16577 0.10203 0.07517 0.21569 0.19222 0.71592
INFLO 93 0.19000 0.16577 0.10339 0.07657 0.21359 0.19007 0.71742
INFLO 98 0.19000 0.16577 0.10551 0.07875 0.21053 0.18691 0.71225
COF 64 0.28000 0.25846 0.23025 0.20722 0.28283 0.26138 0.74962
COF 72 0.24000 0.21727 0.23469 0.21180 0.30216 0.28128 0.76023
COF 79 0.26000 0.23786 0.23800 0.21521 0.27545 0.25378 0.76365
COF 85 0.26000 0.23786 0.24787 0.22537 0.27972 0.25817 0.74793

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO