Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Pima (10% of outliers version#02)

The data set contains medical data on diabetes. Patients suffering from diabetes were considered outliers.

Download all data set variants used (694.8 kB). You can also access the original data. (pima-indians-diabetes.data)

Normalized, without duplicates

This version contains 8 attributes, 555 objects, 55 outliers (9.91%)

Download raw algorithm results (4.9 MB) Download raw algorithm evaluation table (52.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.20000 0.11200 0.20413 0.11658 0.35023 0.27876 0.74682
KNN 23 0.25455 0.17255 0.19242 0.10358 0.32558 0.25140 0.74158
KNNW 1 0.23636 0.15236 0.17787 0.08744 0.29870 0.22156 0.66973
KNNW 4 0.21818 0.13218 0.19771 0.10946 0.33526 0.26214 0.73447
KNNW 5 0.21818 0.13218 0.19712 0.10881 0.33721 0.26430 0.73764
KNNW 75 0.23636 0.15236 0.19066 0.10163 0.31970 0.24487 0.74389
LOF 3 0.18182 0.09182 0.14765 0.05389 0.25000 0.16750 0.59131
LOF 90 0.16364 0.07164 0.18051 0.09036 0.32479 0.25051 0.73120
LOF 94 0.18182 0.09182 0.18210 0.09213 0.31760 0.24253 0.73222
LOF 99 0.18182 0.09182 0.18198 0.09200 0.31718 0.24207 0.73295
SimplifiedLOF 3 0.21818 0.13218 0.13537 0.04026 0.23529 0.15118 0.56149
SimplifiedLOF 31 0.14545 0.05145 0.15576 0.06289 0.29677 0.21942 0.64076
SimplifiedLOF 99 0.14545 0.05145 0.16521 0.07338 0.29032 0.21226 0.67978
LoOP 3 0.21818 0.13218 0.13543 0.04032 0.23204 0.14757 0.56222
LoOP 69 0.14545 0.05145 0.15926 0.06678 0.29885 0.22172 0.66091
LoOP 91 0.16364 0.07164 0.16126 0.06900 0.29834 0.22116 0.66913
LoOP 97 0.16364 0.07164 0.16164 0.06943 0.28877 0.21053 0.66718
LDOF 19 0.20000 0.11200 0.14096 0.04646 0.24219 0.15883 0.60935
LDOF 67 0.14545 0.05145 0.15159 0.05827 0.28409 0.20534 0.64178
LDOF 78 0.14545 0.05145 0.15474 0.06177 0.27660 0.19702 0.64491
LDOF 97 0.14545 0.05145 0.15307 0.05990 0.25856 0.17700 0.64644
ODIN 35 0.14545 0.05145 0.16198 0.06980 0.30556 0.22917 0.64558
ODIN 76 0.16970 0.07836 0.16826 0.07677 0.29167 0.21375 0.70118
ODIN 83 0.18182 0.09182 0.16677 0.07512 0.29431 0.21669 0.70727
FastABOD 8 0.29091 0.21291 0.21518 0.12885 0.35821 0.28761 0.74091
FastABOD 23 0.29091 0.21291 0.21751 0.13143 0.36364 0.29364 0.74811
FastABOD 96 0.27273 0.19273 0.22539 0.14018 0.35762 0.28695 0.76236
FastABOD 100 0.27273 0.19273 0.22487 0.13961 0.35762 0.28695 0.76276
KDEOS 75 0.16364 0.07164 0.13237 0.03693 0.24000 0.15640 0.60542
KDEOS 98 0.10909 0.01109 0.13461 0.03942 0.23841 0.15464 0.61331
KDEOS 100 0.12727 0.03127 0.13327 0.03793 0.24413 0.16099 0.61367
LDF 22 0.16364 0.07164 0.17676 0.08621 0.33508 0.26194 0.70858
LDF 57 0.21818 0.13218 0.18449 0.09479 0.30909 0.23309 0.73193
LDF 78 0.21818 0.13218 0.18981 0.10069 0.31206 0.23638 0.74455
LDF 94 0.21818 0.13218 0.19066 0.10164 0.31532 0.24000 0.74382
INFLO 2 0.18182 0.09182 0.13688 0.04193 0.25556 0.17367 0.58675
INFLO 79 0.14545 0.05145 0.16718 0.07557 0.30435 0.22783 0.68909
INFLO 99 0.18182 0.09182 0.16934 0.07797 0.29655 0.21917 0.70447
COF 66 0.30909 0.23309 0.21292 0.12634 0.32143 0.24679 0.72836
COF 100 0.25455 0.17255 0.25037 0.16791 0.34737 0.27558 0.76302

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 8 attributes, 555 objects, 55 outliers (9.91%)

Download raw algorithm results (4.8 MB) Download raw algorithm evaluation table (53.5 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 8 0.27273 0.19273 0.21185 0.12516 0.36905 0.29964 0.68295
KNN 9 0.25455 0.17255 0.21041 0.12356 0.37975 0.31152 0.68287
KNN 10 0.25455 0.17255 0.21149 0.12475 0.37267 0.30366 0.68553
KNNW 13 0.20000 0.11200 0.20238 0.11464 0.37576 0.30709 0.68080
KNNW 18 0.21818 0.13218 0.20550 0.11811 0.36364 0.29364 0.68164
KNNW 19 0.21818 0.13218 0.20548 0.11809 0.35928 0.28880 0.68178
KNNW 32 0.27273 0.19273 0.20170 0.11388 0.34615 0.27423 0.67767
LOF 24 0.25455 0.17255 0.17675 0.08619 0.29932 0.22224 0.65247
LOF 77 0.18182 0.09182 0.18433 0.09460 0.32432 0.25000 0.68433
LOF 97 0.18182 0.09182 0.18474 0.09506 0.32124 0.24658 0.68727
LOF 98 0.18182 0.09182 0.18475 0.09507 0.31746 0.24238 0.68662
SimplifiedLOF 41 0.25455 0.17255 0.16762 0.07606 0.28571 0.20714 0.63022
SimplifiedLOF 100 0.18182 0.09182 0.17746 0.08698 0.30208 0.22531 0.64611
LoOP 41 0.25455 0.17255 0.16398 0.07202 0.26994 0.18963 0.63396
LoOP 97 0.20000 0.11200 0.17407 0.08322 0.29885 0.22172 0.64993
LoOP 98 0.20000 0.11200 0.17521 0.08448 0.29524 0.21771 0.64942
LDOF 74 0.27273 0.19273 0.18129 0.09123 0.29310 0.21534 0.63735
LDOF 95 0.27273 0.19273 0.18311 0.09325 0.31507 0.23973 0.64055
LDOF 100 0.25455 0.17255 0.18387 0.09410 0.30986 0.23394 0.64382
ODIN 39 0.20000 0.11200 0.16593 0.07418 0.28571 0.20714 0.62447
ODIN 40 0.20000 0.11200 0.16729 0.07569 0.29530 0.21779 0.62202
ODIN 48 0.20606 0.11873 0.17916 0.08887 0.27957 0.20032 0.61895
ODIN 52 0.24000 0.15640 0.16120 0.06893 0.27586 0.19621 0.62064
FastABOD 12 0.20000 0.11200 0.19866 0.11051 0.36145 0.29120 0.69233
FastABOD 71 0.27273 0.19273 0.21025 0.12338 0.34973 0.27820 0.70575
FastABOD 91 0.27273 0.19273 0.21071 0.12389 0.35028 0.27881 0.70742
FastABOD 100 0.27273 0.19273 0.21049 0.12365 0.35227 0.28102 0.70775
KDEOS 6 0.20000 0.11200 0.12050 0.02376 0.22000 0.13420 0.52556
KDEOS 10 0.12727 0.03127 0.14391 0.04974 0.19011 0.10103 0.51836
KDEOS 75 0.10909 0.01109 0.12939 0.03363 0.25532 0.17340 0.59964
KDEOS 99 0.09091 -0.00909 0.13938 0.04471 0.24922 0.16664 0.60851
LDF 18 0.30909 0.23309 0.20369 0.11610 0.33155 0.25802 0.67898
LDF 64 0.20000 0.11200 0.19544 0.10694 0.33918 0.26649 0.69815
LDF 82 0.18182 0.09182 0.19374 0.10505 0.31746 0.24238 0.69887
INFLO 38 0.27273 0.19273 0.17090 0.07970 0.27826 0.19887 0.64004
INFLO 71 0.21818 0.13218 0.18299 0.09312 0.30244 0.22571 0.66138
INFLO 94 0.18182 0.09182 0.18238 0.09244 0.31502 0.23967 0.66749
INFLO 99 0.20000 0.11200 0.18167 0.09165 0.31953 0.24467 0.64764
COF 30 0.20000 0.11200 0.17075 0.07953 0.31250 0.23688 0.66716
COF 39 0.25455 0.17255 0.17462 0.08383 0.28112 0.20205 0.67304
COF 100 0.20000 0.11200 0.19526 0.10673 0.29907 0.22196 0.68978

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO