Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Pima (10% of outliers version#07)

The data set contains medical data on diabetes. Patients suffering from diabetes were considered outliers.

Download all data set variants used (694.8 kB). You can also access the original data. (pima-indians-diabetes.data)

Normalized, without duplicates

This version contains 8 attributes, 555 objects, 55 outliers (9.91%)

Download raw algorithm results (4.9 MB) Download raw algorithm evaluation table (51.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.38182 0.31382 0.30429 0.22776 0.39394 0.32727 0.79602
KNN 2 0.34545 0.27345 0.30712 0.23090 0.39344 0.32672 0.78656
KNNW 1 0.38182 0.31382 0.30393 0.22736 0.39286 0.32607 0.75016
KNNW 3 0.36364 0.29364 0.31169 0.23597 0.38824 0.32094 0.78629
KNNW 4 0.34545 0.27345 0.30790 0.23177 0.39695 0.33061 0.78498
LOF 8 0.29091 0.21291 0.20428 0.11675 0.30769 0.23154 0.69916
LOF 63 0.21818 0.13218 0.21705 0.13093 0.36757 0.29800 0.75127
LOF 99 0.23636 0.15236 0.22855 0.14369 0.34884 0.27721 0.76229
LOF 100 0.23636 0.15236 0.22851 0.14365 0.34694 0.27510 0.76258
SimplifiedLOF 13 0.29091 0.21291 0.19200 0.10311 0.30357 0.22696 0.68611
SimplifiedLOF 22 0.25455 0.17255 0.20955 0.12260 0.30000 0.22300 0.70749
SimplifiedLOF 96 0.20000 0.11200 0.20554 0.11815 0.33514 0.26200 0.71855
SimplifiedLOF 100 0.21818 0.13218 0.20517 0.11774 0.33155 0.25802 0.71964
LoOP 20 0.29091 0.21291 0.20376 0.11617 0.29126 0.21330 0.69469
LoOP 22 0.29091 0.21291 0.20766 0.12050 0.29091 0.21291 0.69815
LoOP 78 0.21818 0.13218 0.20258 0.11487 0.31959 0.24474 0.71084
LoOP 97 0.20000 0.11200 0.20433 0.11680 0.32804 0.25413 0.70996
LDOF 19 0.25455 0.17255 0.19165 0.10273 0.28346 0.20465 0.66615
LDOF 54 0.20000 0.11200 0.19586 0.10740 0.29834 0.22116 0.68796
LDOF 61 0.20000 0.11200 0.19730 0.10900 0.29379 0.21610 0.68669
LDOF 92 0.21818 0.13218 0.18866 0.09941 0.32530 0.25108 0.67829
ODIN 18 0.25455 0.17255 0.24119 0.15772 0.29167 0.21375 0.66047
ODIN 39 0.29091 0.21291 0.21663 0.13045 0.29630 0.21889 0.69273
ODIN 96 0.21818 0.13218 0.21473 0.12835 0.32335 0.24892 0.73465
FastABOD 4 0.40000 0.33400 0.32902 0.25522 0.42328 0.35984 0.81178
FastABOD 5 0.40000 0.33400 0.33063 0.25700 0.42857 0.36571 0.81280
FastABOD 7 0.40000 0.33400 0.34864 0.27699 0.41989 0.35608 0.80978
KDEOS 26 0.16364 0.07164 0.17757 0.08710 0.24658 0.16370 0.63036
KDEOS 35 0.21818 0.13218 0.15376 0.06067 0.23377 0.14948 0.63022
KDEOS 96 0.14545 0.05145 0.13962 0.04497 0.26667 0.18600 0.63785
LDF 4 0.34545 0.27345 0.22523 0.14000 0.36036 0.29000 0.71229
LDF 12 0.29091 0.21291 0.25161 0.16929 0.39490 0.32834 0.76291
LDF 46 0.23636 0.15236 0.23242 0.14799 0.40000 0.33400 0.76236
LDF 65 0.23636 0.15236 0.23872 0.15498 0.36782 0.29828 0.77429
INFLO 19 0.30909 0.23309 0.21133 0.12458 0.31481 0.23944 0.67967
INFLO 59 0.20000 0.11200 0.20919 0.12220 0.32402 0.24966 0.71935
INFLO 94 0.20000 0.11200 0.20824 0.12115 0.33121 0.25764 0.71564
INFLO 97 0.21818 0.13218 0.21545 0.12915 0.32099 0.24630 0.71865
COF 20 0.38182 0.31382 0.27653 0.19695 0.39640 0.33000 0.76258
COF 21 0.38182 0.31382 0.28829 0.21000 0.40708 0.34186 0.76578
COF 100 0.29091 0.21291 0.31584 0.24059 0.40000 0.33400 0.80273

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 8 attributes, 555 objects, 55 outliers (9.91%)

Download raw algorithm results (4.8 MB) Download raw algorithm evaluation table (52.2 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 4 0.29091 0.21291 0.24782 0.16509 0.37179 0.30269 0.70409
KNN 6 0.34545 0.27345 0.24310 0.15985 0.35897 0.28846 0.69882
KNN 11 0.32727 0.25327 0.24109 0.15761 0.37762 0.30916 0.69205
KNNW 5 0.27273 0.19273 0.23683 0.15288 0.38323 0.31539 0.70211
KNNW 6 0.29091 0.21291 0.23931 0.15563 0.37870 0.31036 0.70215
KNNW 13 0.32727 0.25327 0.24428 0.16115 0.37419 0.30535 0.69804
LOF 80 0.27273 0.19273 0.20362 0.11602 0.33333 0.26000 0.69607
LOF 81 0.27273 0.19273 0.20427 0.11674 0.34091 0.26841 0.69662
LOF 82 0.27273 0.19273 0.20471 0.11723 0.33898 0.26627 0.69709
LOF 91 0.27273 0.19273 0.20630 0.11899 0.33735 0.26446 0.69465
SimplifiedLOF 29 0.27273 0.19273 0.16745 0.07586 0.27273 0.19273 0.61578
SimplifiedLOF 83 0.20000 0.11200 0.18933 0.10016 0.31111 0.23533 0.64942
SimplifiedLOF 100 0.23636 0.15236 0.19555 0.10706 0.30345 0.22683 0.65615
LoOP 34 0.29091 0.21291 0.16276 0.07067 0.29091 0.21291 0.60573
LoOP 82 0.20000 0.11200 0.18223 0.09227 0.32258 0.24806 0.64731
LoOP 100 0.20000 0.11200 0.18753 0.09816 0.31507 0.23973 0.64938
LDOF 30 0.25455 0.17255 0.16102 0.06874 0.26573 0.18497 0.60593
LDOF 97 0.21818 0.13218 0.18844 0.09916 0.30986 0.23394 0.63927
LDOF 100 0.21818 0.13218 0.19013 0.10104 0.30769 0.23154 0.64393
ODIN 50 0.22238 0.13684 0.15556 0.06267 0.23963 0.15599 0.60107
ODIN 73 0.18182 0.09182 0.17998 0.08978 0.28571 0.20714 0.62722
ODIN 79 0.18182 0.09182 0.17745 0.08697 0.29268 0.21488 0.62942
ODIN 97 0.16364 0.07164 0.16341 0.07138 0.28378 0.20500 0.63405
FastABOD 3 0.32727 0.25327 0.24723 0.16443 0.34921 0.27762 0.71527
FastABOD 90 0.30909 0.23309 0.25651 0.17473 0.39548 0.32898 0.72829
FastABOD 94 0.30909 0.23309 0.25679 0.17503 0.39548 0.32898 0.72855
FastABOD 100 0.30909 0.23309 0.25695 0.17522 0.39326 0.32652 0.72851
KDEOS 7 0.16364 0.07164 0.12487 0.02860 0.22069 0.13497 0.56713
KDEOS 95 0.10909 0.01109 0.13181 0.03631 0.23318 0.14883 0.60251
KDEOS 98 0.12727 0.03127 0.13073 0.03511 0.23963 0.15599 0.60207
KDEOS 100 0.10909 0.01109 0.13075 0.03513 0.23645 0.15246 0.60276
LDF 16 0.27273 0.19273 0.18750 0.09813 0.28283 0.20394 0.65858
LDF 67 0.27273 0.19273 0.21082 0.12401 0.36257 0.29246 0.70360
LDF 82 0.25455 0.17255 0.21565 0.12938 0.33540 0.26230 0.70818
LDF 96 0.25455 0.17255 0.21971 0.13388 0.33503 0.26188 0.70342
INFLO 24 0.25455 0.17255 0.17587 0.08522 0.28800 0.20968 0.64444
INFLO 72 0.20000 0.11200 0.19634 0.10794 0.30717 0.23096 0.67162
INFLO 93 0.21818 0.13218 0.20166 0.11384 0.31698 0.24185 0.64978
INFLO 100 0.21818 0.13218 0.20488 0.11742 0.30588 0.22953 0.65865
COF 55 0.21818 0.13218 0.18772 0.09837 0.31293 0.23735 0.67916
COF 75 0.25455 0.17255 0.18622 0.09670 0.28777 0.20942 0.66667
COF 99 0.23636 0.15236 0.20741 0.12022 0.29231 0.21446 0.68644
COF 100 0.23636 0.15236 0.20738 0.12020 0.29457 0.21698 0.68867

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO