Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Pima (10% of outliers version#10)

The data set contains medical data on diabetes. Patients suffering from diabetes were considered outliers.

Download all data set variants used (694.8 kB). You can also access the original data. (pima-indians-diabetes.data)

Normalized, without duplicates

This version contains 8 attributes, 555 objects, 55 outliers (9.91%)

Download raw algorithm results (4.9 MB) Download raw algorithm evaluation table (52.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.25455 0.17255 0.20800 0.12088 0.32323 0.24879 0.72816
KNN 10 0.20000 0.11200 0.20059 0.11266 0.34615 0.27423 0.74889
KNN 33 0.27273 0.19273 0.20225 0.11449 0.32618 0.25206 0.75576
KNN 77 0.21818 0.13218 0.20798 0.12086 0.34167 0.26925 0.76824
KNNW 1 0.30909 0.23309 0.20173 0.11392 0.36111 0.29083 0.69322
KNNW 100 0.23636 0.15236 0.20783 0.12069 0.33051 0.25686 0.76415
LOF 7 0.23636 0.15236 0.14872 0.05508 0.24299 0.15972 0.60942
LOF 100 0.20000 0.11200 0.19705 0.10872 0.32222 0.24767 0.74738
SimplifiedLOF 13 0.21818 0.13218 0.14862 0.05497 0.25600 0.17416 0.61044
SimplifiedLOF 85 0.18182 0.09182 0.17073 0.07951 0.29714 0.21983 0.68302
SimplifiedLOF 97 0.18182 0.09182 0.17279 0.08180 0.29050 0.21246 0.69007
SimplifiedLOF 100 0.18182 0.09182 0.17269 0.08168 0.28889 0.21067 0.69076
LoOP 16 0.20000 0.11200 0.14674 0.05288 0.25316 0.17101 0.62080
LoOP 90 0.20000 0.11200 0.16829 0.07680 0.28889 0.21067 0.67773
LoOP 95 0.18182 0.09182 0.16677 0.07511 0.29299 0.21522 0.67487
LoOP 99 0.18182 0.09182 0.16961 0.07827 0.29299 0.21522 0.67720
LDOF 2 0.20000 0.11200 0.17388 0.08301 0.22581 0.14065 0.58884
LDOF 59 0.14545 0.05145 0.15923 0.06674 0.29412 0.21647 0.64375
LDOF 93 0.18182 0.09182 0.16066 0.06834 0.26901 0.18860 0.65756
ODIN 21 0.20496 0.11750 0.15541 0.06251 0.24194 0.15855 0.63020
ODIN 72 0.16364 0.07164 0.17960 0.08935 0.29032 0.21226 0.70855
ODIN 97 0.17662 0.08605 0.17660 0.08603 0.30601 0.22967 0.71495
ODIN 100 0.17091 0.07971 0.17856 0.08820 0.30601 0.22967 0.71789
FastABOD 52 0.27273 0.19273 0.23652 0.15254 0.36986 0.30055 0.75218
FastABOD 86 0.30909 0.23309 0.24073 0.15721 0.36816 0.29866 0.75938
FastABOD 98 0.30909 0.23309 0.24455 0.16145 0.36816 0.29866 0.76102
FastABOD 99 0.30909 0.23309 0.24180 0.15840 0.36816 0.29866 0.76105
KDEOS 3 0.14545 0.05145 0.13790 0.04307 0.25210 0.16983 0.60309
KDEOS 13 0.18182 0.09182 0.12955 0.03380 0.23030 0.14564 0.58345
KDEOS 18 0.16364 0.07164 0.13225 0.03680 0.25397 0.17190 0.59960
KDEOS 100 0.07273 -0.02927 0.12644 0.03035 0.22981 0.14509 0.61145
LDF 81 0.23636 0.15236 0.20702 0.11979 0.33503 0.26188 0.75829
LDF 98 0.27273 0.19273 0.21140 0.12465 0.33010 0.25641 0.76571
LDF 99 0.27273 0.19273 0.21163 0.12491 0.32692 0.25288 0.76575
LDF 100 0.27273 0.19273 0.21127 0.12451 0.32850 0.25464 0.76578
INFLO 33 0.20000 0.11200 0.15239 0.05915 0.25773 0.17608 0.62167
INFLO 87 0.20000 0.11200 0.18601 0.09647 0.29630 0.21889 0.71684
INFLO 88 0.18182 0.09182 0.18581 0.09625 0.30488 0.22841 0.71025
INFLO 100 0.18182 0.09182 0.18784 0.09850 0.30120 0.22434 0.71335
COF 79 0.23636 0.15236 0.22865 0.14380 0.33735 0.26446 0.69105
COF 96 0.29091 0.21291 0.24695 0.16411 0.32512 0.25089 0.71098
COF 100 0.27273 0.19273 0.25152 0.16919 0.32370 0.24931 0.71829

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 8 attributes, 555 objects, 55 outliers (9.91%)

Download raw algorithm results (4.8 MB) Download raw algorithm evaluation table (52.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 6 0.25455 0.17255 0.17870 0.08836 0.32812 0.25422 0.63365
KNN 9 0.30909 0.23309 0.18547 0.09588 0.31579 0.24053 0.64262
KNN 35 0.21818 0.13218 0.17006 0.07877 0.29114 0.21316 0.64611
KNNW 24 0.27273 0.19273 0.18102 0.09093 0.30645 0.23016 0.63942
KNNW 25 0.29091 0.21291 0.18055 0.09041 0.30645 0.23016 0.63942
KNNW 31 0.29091 0.21291 0.17821 0.08782 0.31579 0.24053 0.63953
KNNW 46 0.27273 0.19273 0.17573 0.08507 0.30508 0.22864 0.64156
LOF 22 0.27273 0.19273 0.17542 0.08471 0.27869 0.19934 0.64887
LOF 26 0.27273 0.19273 0.18025 0.09007 0.28829 0.21000 0.65673
LOF 59 0.18182 0.09182 0.17314 0.08219 0.31250 0.23688 0.67909
LOF 75 0.23636 0.15236 0.17520 0.08448 0.29670 0.21934 0.68527
SimplifiedLOF 27 0.27273 0.19273 0.17003 0.07873 0.28037 0.20121 0.62342
SimplifiedLOF 32 0.25455 0.17255 0.17369 0.08280 0.29310 0.21534 0.63335
SimplifiedLOF 57 0.21818 0.13218 0.16671 0.07505 0.30769 0.23154 0.64942
SimplifiedLOF 100 0.21818 0.13218 0.16940 0.07803 0.29379 0.21610 0.66011
LoOP 43 0.27273 0.19273 0.16754 0.07596 0.27826 0.19887 0.63460
LoOP 58 0.23636 0.15236 0.17006 0.07877 0.29752 0.22025 0.64751
LoOP 61 0.23636 0.15236 0.16909 0.07769 0.30159 0.22476 0.64847
LoOP 99 0.18182 0.09182 0.16798 0.07645 0.28966 0.21152 0.65665
LDOF 62 0.27273 0.19273 0.17659 0.08602 0.27778 0.19833 0.64160
LDOF 66 0.25455 0.17255 0.18026 0.09008 0.29008 0.21198 0.64535
LDOF 77 0.27273 0.19273 0.17911 0.08881 0.31008 0.23419 0.64665
LDOF 100 0.23636 0.15236 0.17742 0.08693 0.29412 0.21647 0.65825
ODIN 51 0.27273 0.19273 0.17019 0.07891 0.27273 0.19273 0.63533
ODIN 96 0.23636 0.15236 0.17656 0.08598 0.30612 0.22980 0.63747
ODIN 97 0.23636 0.15236 0.17727 0.08677 0.30612 0.22980 0.64015
FastABOD 5 0.23636 0.15236 0.16526 0.07344 0.26471 0.18382 0.62065
FastABOD 99 0.23636 0.15236 0.17723 0.08673 0.29139 0.21344 0.64269
FastABOD 100 0.23636 0.15236 0.17737 0.08688 0.29139 0.21344 0.64276
KDEOS 40 0.14545 0.05145 0.12359 0.02719 0.22222 0.13667 0.57804
KDEOS 85 0.12727 0.03127 0.14209 0.04772 0.24595 0.16301 0.62142
KDEOS 99 0.12727 0.03127 0.13764 0.04278 0.25087 0.16847 0.62804
KDEOS 100 0.12727 0.03127 0.13752 0.04265 0.25087 0.16847 0.62829
LDF 17 0.27273 0.19273 0.19252 0.10370 0.30000 0.22300 0.67436
LDF 19 0.27273 0.19273 0.19927 0.11119 0.29744 0.22015 0.67444
LDF 43 0.21818 0.13218 0.17922 0.08894 0.33136 0.25781 0.68389
LDF 71 0.23636 0.15236 0.17967 0.08943 0.29885 0.22172 0.69520
INFLO 44 0.25455 0.17255 0.17724 0.08674 0.29773 0.22049 0.66076
INFLO 100 0.23636 0.15236 0.18564 0.09606 0.32975 0.25602 0.70931
COF 72 0.23636 0.15236 0.18261 0.09270 0.29545 0.21795 0.69309
COF 85 0.20000 0.11200 0.19228 0.10343 0.30493 0.22848 0.70749
COF 86 0.20000 0.11200 0.19153 0.10259 0.30332 0.22668 0.70800
COF 90 0.20000 0.11200 0.18914 0.09995 0.31481 0.23944 0.70244

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO