Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Pima (10% of outliers version#08)

The data set contains medical data on diabetes. Patients suffering from diabetes were considered outliers.

Download all data set variants used (694.8 kB). You can also access the original data. (pima-indians-diabetes.data)

Normalized, without duplicates

This version contains 8 attributes, 555 objects, 55 outliers (9.91%)

Download raw algorithm results (4.9 MB) Download raw algorithm evaluation table (52.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.30909 0.23309 0.24926 0.16668 0.36879 0.29936 0.74975
KNN 66 0.25455 0.17255 0.22682 0.14177 0.33455 0.26135 0.77175
KNNW 1 0.32727 0.25327 0.23617 0.15215 0.36364 0.29364 0.73480
KNNW 2 0.32727 0.25327 0.24411 0.16097 0.36641 0.29672 0.74775
KNNW 5 0.30909 0.23309 0.24837 0.16569 0.35616 0.28534 0.75815
KNNW 70 0.25455 0.17255 0.22604 0.14090 0.34307 0.27080 0.76960
LOF 13 0.29091 0.21291 0.18999 0.10089 0.30631 0.23000 0.68542
LOF 89 0.20000 0.11200 0.20541 0.11800 0.35780 0.28716 0.76287
LOF 100 0.21818 0.13218 0.21131 0.12455 0.34259 0.27028 0.76742
SimplifiedLOF 13 0.27273 0.19273 0.17515 0.08442 0.29268 0.21488 0.63069
SimplifiedLOF 95 0.20000 0.11200 0.18486 0.09519 0.31897 0.24405 0.71109
SimplifiedLOF 100 0.20000 0.11200 0.18587 0.09631 0.31858 0.24363 0.71240
LoOP 13 0.27273 0.19273 0.17255 0.08153 0.29114 0.21316 0.61851
LoOP 100 0.18182 0.09182 0.18513 0.09549 0.31638 0.24119 0.70013
LDOF 14 0.27273 0.19273 0.18799 0.09867 0.29870 0.22156 0.62393
LDOF 28 0.23636 0.15236 0.19663 0.10825 0.29197 0.21409 0.66353
LDOF 48 0.23636 0.15236 0.18993 0.10082 0.32680 0.25275 0.66742
LDOF 82 0.23636 0.15236 0.18659 0.09712 0.31373 0.23824 0.67884
ODIN 18 0.28571 0.20714 0.19753 0.10926 0.28829 0.21000 0.64571
ODIN 29 0.26364 0.18264 0.20826 0.12117 0.30409 0.22754 0.67364
ODIN 95 0.20606 0.11873 0.20445 0.11693 0.32432 0.25000 0.73180
ODIN 100 0.20000 0.11200 0.20408 0.11653 0.32000 0.24520 0.73475
FastABOD 18 0.38182 0.31382 0.29123 0.21327 0.39791 0.33168 0.79618
FastABOD 64 0.38182 0.31382 0.30421 0.22768 0.41212 0.34745 0.80636
FastABOD 100 0.38182 0.31382 0.30857 0.23252 0.40252 0.33679 0.80749
KDEOS 17 0.20000 0.11200 0.13120 0.03563 0.21198 0.12530 0.57244
KDEOS 21 0.18182 0.09182 0.15258 0.05937 0.22086 0.13515 0.58687
KDEOS 86 0.12727 0.03127 0.13393 0.03866 0.24365 0.16046 0.61847
KDEOS 98 0.14545 0.05145 0.13659 0.04161 0.23129 0.14673 0.62400
LDF 6 0.29091 0.21291 0.18707 0.09765 0.30508 0.22864 0.66676
LDF 55 0.21818 0.13218 0.20563 0.11824 0.35294 0.28176 0.76156
LDF 100 0.23636 0.15236 0.22358 0.13818 0.33607 0.26303 0.77844
INFLO 14 0.27273 0.19273 0.18023 0.09006 0.27879 0.19945 0.63351
INFLO 95 0.23636 0.15236 0.20056 0.11262 0.32836 0.25448 0.73138
INFLO 98 0.23636 0.15236 0.19870 0.11055 0.33526 0.26214 0.72073
COF 35 0.21818 0.13218 0.21795 0.13193 0.36681 0.29716 0.75127
COF 67 0.29091 0.21291 0.22480 0.13953 0.34595 0.27400 0.75433
COF 100 0.23636 0.15236 0.25594 0.17409 0.34940 0.27783 0.77829

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 8 attributes, 555 objects, 55 outliers (9.91%)

Download raw algorithm results (4.8 MB) Download raw algorithm evaluation table (52.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 7 0.38182 0.31382 0.27579 0.19613 0.42384 0.36046 0.75731
KNN 8 0.36364 0.29364 0.27591 0.19626 0.42581 0.36265 0.75653
KNN 10 0.34545 0.27345 0.27398 0.19412 0.42953 0.36678 0.75629
KNN 11 0.34545 0.27345 0.27343 0.19351 0.41509 0.35075 0.75756
KNNW 2 0.36364 0.29364 0.23733 0.15344 0.40310 0.33744 0.72178
KNNW 12 0.32727 0.25327 0.27558 0.19589 0.41135 0.34660 0.75211
KNNW 17 0.32727 0.25327 0.27360 0.19369 0.42857 0.36571 0.75302
KNNW 21 0.34545 0.27345 0.27324 0.19330 0.41429 0.34986 0.75389
LOF 22 0.30909 0.23309 0.22465 0.13936 0.32000 0.24520 0.69487
LOF 55 0.21818 0.13218 0.22616 0.14104 0.36548 0.29569 0.75145
LOF 81 0.27273 0.19273 0.23740 0.15352 0.35714 0.28643 0.75858
LOF 94 0.27273 0.19273 0.23947 0.15582 0.34197 0.26959 0.75487
SimplifiedLOF 29 0.32727 0.25327 0.22068 0.13496 0.32727 0.25327 0.68418
SimplifiedLOF 100 0.25455 0.17255 0.23475 0.15057 0.36082 0.29052 0.73291
LoOP 31 0.32727 0.25327 0.21600 0.12976 0.33333 0.26000 0.68596
LoOP 83 0.20000 0.11200 0.22474 0.13946 0.35429 0.28326 0.72555
LoOP 93 0.20000 0.11200 0.22908 0.14427 0.36464 0.29475 0.72127
LoOP 94 0.20000 0.11200 0.22964 0.14490 0.36158 0.29136 0.72178
LDOF 30 0.29091 0.21291 0.20861 0.12155 0.33121 0.25764 0.67898
LDOF 88 0.25455 0.17255 0.22642 0.14133 0.35714 0.28643 0.71742
LDOF 99 0.27273 0.19273 0.23402 0.14976 0.34667 0.27480 0.72389
LDOF 100 0.27273 0.19273 0.23379 0.14950 0.34899 0.27738 0.72444
ODIN 35 0.30390 0.22732 0.20560 0.11821 0.34109 0.26860 0.67251
ODIN 45 0.32727 0.25327 0.21426 0.12783 0.33028 0.25661 0.68473
ODIN 47 0.30909 0.23309 0.22815 0.14325 0.32479 0.25051 0.69133
ODIN 89 0.29091 0.21291 0.21503 0.12868 0.32558 0.25140 0.71025
FastABOD 4 0.30909 0.23309 0.24093 0.15743 0.37079 0.30157 0.73658
FastABOD 89 0.29091 0.21291 0.26657 0.18589 0.42581 0.36265 0.77636
FastABOD 100 0.29091 0.21291 0.26742 0.18683 0.42581 0.36265 0.77735
KDEOS 20 0.18182 0.09182 0.13466 0.03947 0.23664 0.15267 0.59887
KDEOS 93 0.14545 0.05145 0.16502 0.07318 0.27632 0.19671 0.67684
KDEOS 94 0.14545 0.05145 0.16478 0.07291 0.28070 0.20158 0.67793
KDEOS 97 0.14545 0.05145 0.16415 0.07220 0.27848 0.19911 0.67807
LDF 15 0.32727 0.25327 0.24374 0.16055 0.34343 0.27121 0.71865
LDF 17 0.32727 0.25327 0.24901 0.16640 0.33645 0.26346 0.71553
LDF 53 0.27273 0.19273 0.23909 0.15538 0.37989 0.31168 0.76324
LDF 55 0.27273 0.19273 0.23889 0.15516 0.37647 0.30788 0.76418
INFLO 27 0.32727 0.25327 0.22951 0.14475 0.33987 0.26725 0.70227
INFLO 64 0.21818 0.13218 0.23553 0.15144 0.34568 0.27370 0.74985
INFLO 69 0.21818 0.13218 0.24103 0.15754 0.35838 0.28780 0.74436
INFLO 95 0.25455 0.17255 0.23714 0.15322 0.36782 0.29828 0.71302
COF 37 0.25455 0.17255 0.19781 0.10956 0.30332 0.22668 0.69382
COF 77 0.23636 0.15236 0.21706 0.13093 0.32864 0.25479 0.74696
COF 98 0.25455 0.17255 0.24560 0.16261 0.35000 0.27850 0.74204

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO