Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Arrhythmia (5% of outliers version#10)

Data set contains patient records classified as normal or as exhibiting some type of cardiac arrhythmia. In total, there are 14 types of arrhythmia and 1 type that brings together all the other different types. However, 3 types of arrhythmia have no data. Again, we treat healthy people as inliers and patients suffering from arrhythmia as outliers.

Download all data set variants used (9.2 MB). You can also access the original data. (arrhythmia.data)

Normalized, without duplicates

This version contains 259 attributes, 256 objects, 12 outliers (4.69%)

Download raw algorithm results (2.3 MB) Download raw algorithm evaluation table (44.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.25000 0.21311 0.15584 0.11432 0.27273 0.23696 0.76742
KNNW 1 0.25000 0.21311 0.16281 0.12164 0.28571 0.25059 0.75444
KNNW 6 0.25000 0.21311 0.15288 0.11121 0.27273 0.23696 0.76161
LOF 2 0.16667 0.12568 0.13934 0.09702 0.24000 0.20262 0.78381
LOF 12 0.25000 0.21311 0.17371 0.13307 0.30303 0.26875 0.76708
LOF 14 0.25000 0.21311 0.17447 0.13387 0.29412 0.25940 0.76400
SimplifiedLOF 11 0.25000 0.21311 0.16624 0.12524 0.34483 0.31261 0.75239
SimplifiedLOF 24 0.16667 0.12568 0.18077 0.14048 0.31250 0.27869 0.77493
LoOP 11 0.16667 0.12568 0.16070 0.11943 0.34483 0.31261 0.74590
LoOP 12 0.25000 0.21311 0.16106 0.11980 0.34483 0.31261 0.74590
LoOP 24 0.16667 0.12568 0.17757 0.13712 0.31250 0.27869 0.77117
LDOF 19 0.25000 0.21311 0.13588 0.09338 0.25000 0.21311 0.71960
LDOF 30 0.16667 0.12568 0.14962 0.10780 0.29412 0.25940 0.74624
LDOF 36 0.16667 0.12568 0.16627 0.12526 0.25000 0.21311 0.74898
LDOF 38 0.16667 0.12568 0.16085 0.11958 0.25641 0.21984 0.75478
ODIN 40 0.20000 0.16066 0.14568 0.10367 0.32258 0.28926 0.73992
ODIN 49 0.23077 0.19294 0.14832 0.10643 0.28571 0.25059 0.73788
ODIN 95 0.16667 0.12568 0.16531 0.12426 0.23256 0.19482 0.74146
ODIN 100 0.16667 0.12568 0.15458 0.11300 0.24390 0.20672 0.74522
FastABOD 8 0.25000 0.21311 0.12826 0.08539 0.25000 0.21311 0.71653
FastABOD 12 0.25000 0.21311 0.15393 0.11232 0.31579 0.28214 0.72746
FastABOD 16 0.25000 0.21311 0.16891 0.12804 0.28571 0.25059 0.72199
FastABOD 30 0.16667 0.12568 0.13734 0.09492 0.24000 0.20262 0.73873
KDEOS 59 0.16667 0.12568 0.10087 0.05665 0.19048 0.15066 0.69672
KDEOS 76 0.16667 0.12568 0.09755 0.05317 0.22222 0.18397 0.70116
KDEOS 91 0.16667 0.12568 0.11282 0.06919 0.20513 0.16604 0.71858
KDEOS 99 0.08333 0.03825 0.10960 0.06581 0.22222 0.18397 0.72609
LDF 1 0.16667 0.12568 0.14592 0.10391 0.24490 0.20776 0.73344
LDF 28 0.08333 0.03825 0.16831 0.12741 0.19048 0.15066 0.67999
LDF 74 0.00000 -0.04918 0.14093 0.09868 0.32258 0.28926 0.76093
INFLO 2 0.25000 0.21311 0.14312 0.10098 0.28571 0.25059 0.71380
INFLO 4 0.16667 0.12568 0.16374 0.12261 0.26923 0.23329 0.77186
INFLO 23 0.16667 0.12568 0.15972 0.11839 0.32258 0.28926 0.76400
COF 9 0.33333 0.30055 0.22852 0.19058 0.34783 0.31575 0.79645
COF 10 0.25000 0.21311 0.22823 0.19027 0.33333 0.30055 0.81148
COF 23 0.33333 0.30055 0.19673 0.15723 0.40000 0.37049 0.71960

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 259 attributes, 256 objects, 12 outliers (4.69%)

Download raw algorithm results (2.3 MB) Download raw algorithm evaluation table (44.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.16667 0.12568 0.20062 0.16130 0.35556 0.32386 0.77408
KNN 3 0.25000 0.21311 0.19357 0.15391 0.32432 0.29109 0.76469
KNN 15 0.16667 0.12568 0.17411 0.13350 0.31579 0.28214 0.78381
KNNW 1 0.25000 0.21311 0.20064 0.16133 0.35000 0.31803 0.73736
KNNW 15 0.16667 0.12568 0.18829 0.14837 0.30769 0.27364 0.77527
LOF 2 0.33333 0.30055 0.31216 0.27833 0.36364 0.33234 0.82480
LOF 5 0.25000 0.21311 0.18928 0.14941 0.36364 0.33234 0.76332
SimplifiedLOF 3 0.25000 0.21311 0.26390 0.22770 0.32000 0.28656 0.77869
SimplifiedLOF 5 0.25000 0.21311 0.19216 0.15243 0.34483 0.31261 0.76195
SimplifiedLOF 23 0.25000 0.21311 0.18948 0.14961 0.30189 0.26755 0.79064
LoOP 3 0.33333 0.30055 0.25452 0.21786 0.33333 0.30055 0.78279
LoOP 4 0.25000 0.21311 0.21294 0.17424 0.32258 0.28926 0.79150
LoOP 5 0.16667 0.12568 0.18334 0.14318 0.34483 0.31261 0.76691
LDOF 10 0.25000 0.21311 0.14017 0.09788 0.27586 0.24025 0.76366
LDOF 18 0.25000 0.21311 0.17371 0.13307 0.32000 0.28656 0.78552
LDOF 23 0.25000 0.21311 0.18312 0.14294 0.30000 0.26557 0.80123
LDOF 42 0.16667 0.12568 0.19445 0.15484 0.27586 0.24025 0.78586
ODIN 37 0.27778 0.24226 0.16386 0.12274 0.28571 0.25059 0.76947
ODIN 67 0.25000 0.21311 0.18365 0.14351 0.30435 0.27014 0.77852
ODIN 73 0.25000 0.21311 0.20016 0.16082 0.31579 0.28214 0.77596
ODIN 76 0.25000 0.21311 0.19977 0.16042 0.31818 0.28465 0.77339
FastABOD 4 0.25000 0.21311 0.16648 0.12548 0.30769 0.27364 0.76673
FastABOD 5 0.16667 0.12568 0.18095 0.14067 0.37838 0.34781 0.76434
FastABOD 31 0.16667 0.12568 0.16593 0.12491 0.31373 0.27997 0.78825
KDEOS 8 0.16667 0.12568 0.08200 0.03685 0.16667 0.12568 0.62602
KDEOS 38 0.16667 0.12568 0.17753 0.13709 0.22785 0.18987 0.71995
KDEOS 96 0.08333 0.03825 0.12889 0.08605 0.29167 0.25683 0.74966
KDEOS 100 0.16667 0.12568 0.13978 0.09748 0.28571 0.25059 0.75342
LDF 14 0.16667 0.12568 0.19020 0.15037 0.26667 0.23060 0.60758
LDF 100 0.08333 0.03825 0.10955 0.06575 0.21687 0.17835 0.70184
INFLO 2 0.25000 0.21311 0.23375 0.19607 0.32558 0.29241 0.78757
INFLO 3 0.33333 0.30055 0.22138 0.18309 0.33333 0.30055 0.76981
INFLO 15 0.25000 0.21311 0.19057 0.15076 0.30000 0.26557 0.81182
COF 2 0.25000 0.21311 0.22210 0.18384 0.31111 0.27723 0.77476
COF 5 0.33333 0.30055 0.25289 0.21615 0.40000 0.37049 0.72934
COF 9 0.25000 0.21311 0.20724 0.16825 0.41379 0.38496 0.74044

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO