Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Pima (10% of outliers version#09)

The data set contains medical data on diabetes. Patients suffering from diabetes were considered outliers.

Download all data set variants used (694.8 kB). You can also access the original data. (pima-indians-diabetes.data)

Normalized, without duplicates

This version contains 8 attributes, 555 objects, 55 outliers (9.91%)

Download raw algorithm results (4.9 MB) Download raw algorithm evaluation table (52.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 11 0.27273 0.19273 0.23134 0.14679 0.32558 0.25140 0.73458
KNN 28 0.25455 0.17255 0.23827 0.15448 0.29358 0.21587 0.72976
KNN 48 0.30909 0.23309 0.22977 0.14504 0.31193 0.23624 0.73431
KNN 95 0.29091 0.21291 0.23235 0.14791 0.31579 0.24053 0.73880
KNNW 12 0.21818 0.13218 0.22911 0.14431 0.32099 0.24630 0.73124
KNNW 59 0.25455 0.17255 0.23436 0.15014 0.29814 0.22093 0.73320
KNNW 77 0.29091 0.21291 0.23367 0.14938 0.30601 0.22967 0.73495
KNNW 100 0.29091 0.21291 0.23222 0.14776 0.30688 0.23063 0.73600
LOF 7 0.23636 0.15236 0.15659 0.06381 0.25185 0.16956 0.62062
LOF 93 0.18182 0.09182 0.19090 0.10190 0.30303 0.22636 0.71582
LOF 99 0.18182 0.09182 0.19282 0.10403 0.29630 0.21889 0.71600
SimplifiedLOF 7 0.25455 0.17255 0.16714 0.07552 0.26549 0.18469 0.60204
SimplifiedLOF 94 0.18182 0.09182 0.17795 0.08752 0.27586 0.19621 0.67669
SimplifiedLOF 95 0.18182 0.09182 0.17930 0.08902 0.27350 0.19359 0.67684
SimplifiedLOF 100 0.16364 0.07164 0.17862 0.08827 0.26718 0.18656 0.67876
LoOP 4 0.21818 0.13218 0.18017 0.08999 0.25882 0.17729 0.58727
LoOP 7 0.25455 0.17255 0.16598 0.07424 0.26415 0.18321 0.59749
LoOP 99 0.16364 0.07164 0.17202 0.08095 0.25941 0.17795 0.66742
LDOF 5 0.21818 0.13218 0.18986 0.10075 0.25532 0.17340 0.61295
LDOF 9 0.25455 0.17255 0.17415 0.08330 0.26316 0.18211 0.61465
LDOF 13 0.23636 0.15236 0.18203 0.09206 0.28966 0.21152 0.61549
LDOF 99 0.16364 0.07164 0.15895 0.06643 0.25095 0.16856 0.64775
ODIN 14 0.22597 0.14083 0.17669 0.08613 0.23438 0.15016 0.60535
ODIN 16 0.24545 0.16245 0.16915 0.07775 0.25000 0.16750 0.61225
ODIN 91 0.18545 0.09585 0.16904 0.07764 0.28458 0.20589 0.68695
ODIN 99 0.16364 0.07164 0.16846 0.07699 0.29289 0.21510 0.68580
FastABOD 13 0.23636 0.15236 0.26662 0.18595 0.35417 0.28313 0.74218
FastABOD 35 0.27273 0.19273 0.25707 0.17534 0.36242 0.29228 0.75371
FastABOD 72 0.25455 0.17255 0.26014 0.17876 0.36735 0.29776 0.75833
FastABOD 100 0.25455 0.17255 0.26228 0.18113 0.36496 0.29511 0.75920
KDEOS 6 0.14545 0.05145 0.15406 0.06101 0.20332 0.11568 0.55738
KDEOS 30 0.18182 0.09182 0.12185 0.02526 0.22014 0.13436 0.58342
KDEOS 90 0.12727 0.03127 0.12834 0.03246 0.23762 0.15376 0.60905
KDEOS 100 0.10909 0.01109 0.12696 0.03092 0.23529 0.15118 0.61273
LDF 60 0.21818 0.13218 0.19160 0.10267 0.30939 0.23343 0.71498
LDF 65 0.20000 0.11200 0.20006 0.11206 0.32000 0.24520 0.71909
LDF 100 0.21818 0.13218 0.22120 0.13554 0.30693 0.23069 0.72978
INFLO 2 0.27273 0.19273 0.18471 0.09503 0.28037 0.20121 0.55618
INFLO 5 0.21818 0.13218 0.19997 0.11197 0.25521 0.17328 0.66644
INFLO 92 0.16364 0.07164 0.18047 0.09033 0.29697 0.21964 0.69698
INFLO 95 0.16364 0.07164 0.18331 0.09348 0.29538 0.21788 0.70811
COF 60 0.27273 0.19273 0.21152 0.12478 0.29091 0.21291 0.66796
COF 92 0.21818 0.13218 0.20537 0.11796 0.31056 0.23472 0.70175
COF 100 0.21818 0.13218 0.22181 0.13621 0.30415 0.22760 0.71640

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 8 attributes, 555 objects, 55 outliers (9.91%)

Download raw algorithm results (4.8 MB) Download raw algorithm evaluation table (53.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 7 0.21818 0.13218 0.17535 0.08464 0.28777 0.20942 0.65813
KNN 10 0.21818 0.13218 0.18057 0.09044 0.29224 0.21438 0.67505
KNN 19 0.18182 0.09182 0.17667 0.08610 0.32895 0.25513 0.67502
KNN 43 0.16364 0.07164 0.17075 0.07954 0.30366 0.22707 0.67969
KNNW 27 0.20000 0.11200 0.17723 0.08672 0.30508 0.22864 0.67149
KNNW 31 0.21818 0.13218 0.17596 0.08531 0.30601 0.22967 0.67142
KNNW 37 0.21818 0.13218 0.17623 0.08561 0.31293 0.23735 0.67320
KNNW 58 0.20000 0.11200 0.17358 0.08268 0.30151 0.22467 0.67498
LOF 2 0.20000 0.11200 0.12433 0.02800 0.20952 0.12257 0.52802
LOF 59 0.12727 0.03127 0.17699 0.08646 0.32850 0.25464 0.69396
LOF 78 0.14545 0.05145 0.17873 0.08839 0.31915 0.24426 0.69840
LOF 96 0.12727 0.03127 0.17980 0.08958 0.32632 0.25221 0.69567
SimplifiedLOF 33 0.18182 0.09182 0.15650 0.06372 0.25418 0.17214 0.62684
SimplifiedLOF 93 0.14545 0.05145 0.16780 0.07625 0.30682 0.23057 0.66065
SimplifiedLOF 99 0.14545 0.05145 0.16852 0.07706 0.30233 0.22558 0.66331
SimplifiedLOF 100 0.14545 0.05145 0.16839 0.07691 0.30409 0.22754 0.66364
LoOP 32 0.20000 0.11200 0.14805 0.05434 0.24779 0.16504 0.61993
LoOP 92 0.14545 0.05145 0.16221 0.07005 0.30409 0.22754 0.64482
LoOP 99 0.14545 0.05145 0.16531 0.07349 0.30233 0.22558 0.65931
LDOF 79 0.23636 0.15236 0.16323 0.07119 0.26772 0.18717 0.63324
LDOF 93 0.21818 0.13218 0.16560 0.07381 0.29240 0.21456 0.64135
LDOF 100 0.20000 0.11200 0.16756 0.07599 0.29032 0.21226 0.64669
ODIN 73 0.21818 0.13218 0.16790 0.07636 0.28112 0.20205 0.64565
ODIN 85 0.19720 0.10890 0.16818 0.07669 0.29032 0.21226 0.65425
ODIN 89 0.17727 0.08677 0.16668 0.07502 0.30000 0.22300 0.65260
ODIN 98 0.20000 0.11200 0.17053 0.07928 0.29213 0.21427 0.65160
FastABOD 81 0.23636 0.15236 0.18076 0.09064 0.30303 0.22636 0.67360
FastABOD 91 0.21818 0.13218 0.18056 0.09042 0.30769 0.23154 0.67451
FastABOD 96 0.21818 0.13218 0.18091 0.09081 0.30769 0.23154 0.67520
FastABOD 100 0.21818 0.13218 0.18086 0.09075 0.30612 0.22980 0.67556
KDEOS 52 0.14545 0.05145 0.11596 0.01872 0.22222 0.13667 0.57291
KDEOS 98 0.10909 0.01109 0.12477 0.02849 0.23948 0.15583 0.60084
KDEOS 100 0.09091 -0.00909 0.12396 0.02759 0.24262 0.15931 0.60055
LDF 19 0.29091 0.21291 0.19628 0.10787 0.30769 0.23154 0.68622
LDF 57 0.16364 0.07164 0.19140 0.10245 0.34286 0.27057 0.71371
INFLO 4 0.20000 0.11200 0.12788 0.03194 0.22286 0.13737 0.53798
INFLO 36 0.18182 0.09182 0.17064 0.07941 0.31111 0.23533 0.68280
INFLO 92 0.16364 0.07164 0.17483 0.08406 0.33149 0.25796 0.66753
INFLO 94 0.14545 0.05145 0.17614 0.08552 0.33149 0.25796 0.67553
COF 36 0.30909 0.23309 0.18040 0.09024 0.30909 0.23309 0.66511
COF 98 0.25455 0.17255 0.20670 0.11944 0.31925 0.24437 0.71585
COF 99 0.25455 0.17255 0.20997 0.12306 0.31628 0.24107 0.71709

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO