Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Pima (10% of outliers version#06)

The data set contains medical data on diabetes. Patients suffering from diabetes were considered outliers.

Download all data set variants used (694.8 kB). You can also access the original data. (pima-indians-diabetes.data)

Normalized, without duplicates

This version contains 8 attributes, 555 objects, 55 outliers (9.91%)

Download raw algorithm results (4.9 MB) Download raw algorithm evaluation table (53.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.18182 0.09182 0.19961 0.11157 0.30769 0.23154 0.72642
KNNW 1 0.25455 0.17255 0.19589 0.10744 0.33043 0.25678 0.69755
KNNW 3 0.20000 0.11200 0.19976 0.11174 0.31902 0.24411 0.71836
LOF 3 0.20000 0.11200 0.15672 0.06396 0.24044 0.15689 0.63556
LOF 5 0.18182 0.09182 0.17114 0.07996 0.26562 0.18484 0.64993
LOF 95 0.07273 -0.02927 0.15465 0.06166 0.29060 0.21256 0.69924
LOF 100 0.07273 -0.02927 0.15615 0.06332 0.28947 0.21132 0.70302
SimplifiedLOF 4 0.20000 0.11200 0.16011 0.06772 0.23288 0.14849 0.60287
SimplifiedLOF 100 0.09091 -0.00909 0.13787 0.04304 0.25890 0.17738 0.64691
LoOP 1 0.18182 0.09182 0.14762 0.05386 0.21239 0.12575 0.55935
LoOP 3 0.14545 0.05145 0.14541 0.05140 0.26943 0.18907 0.59745
LoOP 4 0.16364 0.07164 0.15927 0.06679 0.24837 0.16569 0.60909
LoOP 100 0.09091 -0.00909 0.13453 0.03932 0.25000 0.16750 0.64065
LDOF 3 0.12727 0.03127 0.13187 0.03637 0.24859 0.16593 0.58575
LDOF 4 0.21818 0.13218 0.15803 0.06541 0.24742 0.16464 0.59131
LDOF 30 0.12727 0.03127 0.13871 0.04397 0.23488 0.15071 0.62331
ODIN 15 0.18756 0.09819 0.15018 0.05670 0.22154 0.13591 0.61384
ODIN 23 0.22238 0.13684 0.14873 0.05509 0.23214 0.14768 0.60595
ODIN 87 0.07273 -0.02927 0.14150 0.04707 0.26761 0.18704 0.65027
ODIN 100 0.07273 -0.02927 0.14268 0.04838 0.26087 0.17957 0.66000
FastABOD 19 0.23636 0.15236 0.21960 0.13375 0.35762 0.28695 0.73793
FastABOD 26 0.27273 0.19273 0.22153 0.13590 0.34146 0.26902 0.74131
FastABOD 64 0.25455 0.17255 0.22676 0.14170 0.34524 0.27321 0.74833
KDEOS 3 0.18182 0.09182 0.14716 0.05335 0.22378 0.13839 0.59916
KDEOS 9 0.10909 0.01109 0.15183 0.05853 0.21333 0.12680 0.55895
KDEOS 79 0.20000 0.11200 0.13467 0.03948 0.22374 0.13836 0.59098
KDEOS 85 0.14545 0.05145 0.12901 0.03321 0.23158 0.14705 0.59189
LDF 4 0.20000 0.11200 0.15520 0.06227 0.24752 0.16475 0.63484
LDF 94 0.12727 0.03127 0.16373 0.07174 0.30282 0.22613 0.71585
LDF 100 0.12727 0.03127 0.16472 0.07284 0.30000 0.22300 0.71815
INFLO 2 0.20000 0.11200 0.14897 0.05536 0.23585 0.15179 0.57411
INFLO 4 0.16364 0.07164 0.15224 0.05899 0.25121 0.16884 0.56840
INFLO 94 0.09091 -0.00909 0.14585 0.05189 0.29586 0.21840 0.67342
INFLO 96 0.09091 -0.00909 0.14575 0.05179 0.30030 0.22333 0.67295
COF 83 0.18182 0.09182 0.18744 0.09806 0.32461 0.25031 0.69695
COF 98 0.21818 0.13218 0.20251 0.11479 0.31050 0.23466 0.71491
COF 100 0.21818 0.13218 0.19939 0.11132 0.31628 0.24107 0.71895

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 8 attributes, 555 objects, 55 outliers (9.91%)

Download raw algorithm results (4.8 MB) Download raw algorithm evaluation table (53.5 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 6 0.25455 0.17255 0.19016 0.10108 0.32258 0.24806 0.68505
KNN 10 0.24545 0.16245 0.18965 0.10051 0.32500 0.25075 0.68629
KNN 82 0.27273 0.19273 0.17888 0.08856 0.30769 0.23154 0.67262
KNNW 1 0.20000 0.11200 0.17776 0.08732 0.32143 0.24679 0.64815
KNNW 13 0.23636 0.15236 0.18671 0.09725 0.31633 0.24112 0.68160
KNNW 54 0.27273 0.19273 0.17822 0.08783 0.29268 0.21488 0.67495
LOF 18 0.16364 0.07164 0.13376 0.03847 0.25490 0.17294 0.62953
LOF 90 0.14545 0.05145 0.17195 0.08086 0.36047 0.29012 0.69636
LOF 100 0.14545 0.05145 0.17443 0.08362 0.34637 0.27447 0.70062
SimplifiedLOF 26 0.18182 0.09182 0.13162 0.03610 0.23022 0.14554 0.60327
SimplifiedLOF 98 0.10909 0.01109 0.15590 0.06305 0.29319 0.21545 0.66233
SimplifiedLOF 100 0.10909 0.01109 0.15678 0.06403 0.29319 0.21545 0.66338
LoOP 35 0.20000 0.11200 0.12619 0.03007 0.22222 0.13667 0.58367
LoOP 98 0.10909 0.01109 0.14691 0.05307 0.28030 0.20114 0.64751
LoOP 100 0.10909 0.01109 0.14827 0.05458 0.28025 0.20108 0.65255
LDOF 6 0.16364 0.07164 0.11867 0.02172 0.20084 0.11293 0.53960
LDOF 100 0.14545 0.05145 0.14929 0.05571 0.28253 0.20361 0.64411
ODIN 13 0.16471 0.07282 0.12589 0.02974 0.22222 0.13667 0.58455
ODIN 99 0.09091 -0.00909 0.14796 0.05424 0.30688 0.23063 0.63742
ODIN 100 0.09091 -0.00909 0.14961 0.05607 0.30435 0.22783 0.63973
FastABOD 4 0.27273 0.19273 0.19764 0.10938 0.30882 0.23279 0.67807
FastABOD 78 0.25455 0.17255 0.20224 0.11448 0.33184 0.25834 0.70276
FastABOD 92 0.25455 0.17255 0.20291 0.11523 0.33184 0.25834 0.70407
FastABOD 99 0.25455 0.17255 0.20265 0.11494 0.33184 0.25834 0.70458
KDEOS 13 0.18182 0.09182 0.15922 0.06674 0.20548 0.11808 0.55778
KDEOS 99 0.10909 0.01109 0.12896 0.03314 0.23631 0.15231 0.61105
KDEOS 100 0.10909 0.01109 0.12777 0.03182 0.23750 0.15363 0.60967
LDF 16 0.20000 0.11200 0.16107 0.06879 0.26415 0.18321 0.67018
LDF 69 0.14545 0.05145 0.17567 0.08499 0.35838 0.28780 0.70447
LDF 86 0.14545 0.05145 0.18062 0.09049 0.33862 0.26587 0.70945
LDF 99 0.14545 0.05145 0.18368 0.09389 0.33161 0.25808 0.70709
INFLO 9 0.18182 0.09182 0.12963 0.03389 0.25325 0.17110 0.58169
INFLO 91 0.10909 0.01109 0.16482 0.07295 0.34201 0.26963 0.70455
INFLO 92 0.10909 0.01109 0.16500 0.07314 0.34328 0.27104 0.70445
INFLO 100 0.12727 0.03127 0.16700 0.07537 0.33333 0.26000 0.69562
COF 23 0.18182 0.09182 0.13723 0.04233 0.23404 0.14979 0.62058
COF 98 0.14545 0.05145 0.17924 0.08895 0.29752 0.22025 0.69695
COF 100 0.14545 0.05145 0.17862 0.08826 0.30928 0.23330 0.70196

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO