Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Pima (5% of outliers version#05)

The data set contains medical data on diabetes. Patients suffering from diabetes were considered outliers.

Download all data set variants used (694.8 kB). You can also access the original data. (pima-indians-diabetes.data)

Normalized, without duplicates

This version contains 8 attributes, 526 objects, 26 outliers (4.94%)

Download raw algorithm results (4.6 MB) Download raw algorithm evaluation table (50.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 17 0.11538 0.06938 0.09721 0.05026 0.19820 0.15650 0.73023
KNN 64 0.07692 0.02892 0.10556 0.05905 0.21739 0.17670 0.76208
KNN 65 0.07692 0.02892 0.10562 0.05912 0.21978 0.17921 0.76177
KNN 96 0.00000 -0.05200 0.10212 0.05543 0.22680 0.18660 0.75785
KNNW 1 0.07692 0.02892 0.08380 0.03616 0.19444 0.15256 0.64162
KNNW 27 0.07692 0.02892 0.09774 0.05083 0.20755 0.16634 0.73008
KNNW 93 0.03846 -0.01154 0.10292 0.05627 0.20408 0.16269 0.75162
KNNW 99 0.03846 -0.01154 0.10250 0.05583 0.20408 0.16269 0.75223
LOF 2 0.07692 0.02892 0.06253 0.01379 0.11538 0.06938 0.51462
LOF 88 0.07692 0.02892 0.09335 0.04621 0.19048 0.14838 0.73400
LOF 100 0.07692 0.02892 0.09526 0.04822 0.18947 0.14733 0.74308
SimplifiedLOF 2 0.07692 0.02892 0.05136 0.00203 0.10138 0.05465 0.47562
SimplifiedLOF 81 0.03846 -0.01154 0.07878 0.03087 0.17808 0.13534 0.65315
SimplifiedLOF 97 0.07692 0.02892 0.08101 0.03322 0.17450 0.13157 0.67354
SimplifiedLOF 100 0.07692 0.02892 0.08097 0.03318 0.16993 0.12677 0.67546
LoOP 2 0.07692 0.02892 0.05218 0.00290 0.10588 0.05939 0.47377
LoOP 46 0.03846 -0.01154 0.07158 0.02330 0.17568 0.13281 0.61392
LoOP 100 0.03846 -0.01154 0.07807 0.03013 0.16774 0.12446 0.66569
LDOF 2 0.07692 0.02892 0.05840 0.00944 0.10753 0.06112 0.46800
LDOF 51 0.03846 -0.01154 0.07552 0.02745 0.17450 0.13157 0.63031
LDOF 53 0.03846 -0.01154 0.07579 0.02773 0.16794 0.12467 0.63323
LDOF 99 0.03846 -0.01154 0.07402 0.02586 0.15951 0.11580 0.64362
ODIN 17 0.07692 0.02892 0.06620 0.01764 0.14379 0.09927 0.57742
ODIN 84 0.00000 -0.05200 0.08204 0.03430 0.18792 0.14569 0.68885
ODIN 100 0.03846 -0.01154 0.08151 0.03374 0.17801 0.13527 0.69762
FastABOD 4 0.15385 0.10985 0.09688 0.04992 0.18274 0.14024 0.67192
FastABOD 16 0.15385 0.10985 0.11167 0.06548 0.23077 0.19077 0.71977
FastABOD 99 0.11538 0.06938 0.11661 0.07067 0.21429 0.17343 0.75092
KDEOS 2 0.07692 0.02892 0.07204 0.02379 0.13333 0.08827 0.57796
KDEOS 31 0.11538 0.06938 0.05998 0.01110 0.11932 0.07352 0.52846
KDEOS 100 0.00000 -0.05200 0.06040 0.01154 0.13115 0.08597 0.58131
LDF 9 0.11538 0.06938 0.07921 0.03133 0.15842 0.11465 0.63792
LDF 85 0.07692 0.02892 0.10153 0.05480 0.19417 0.15227 0.75754
LDF 97 0.07692 0.02892 0.10307 0.05643 0.19355 0.15161 0.76085
LDF 100 0.07692 0.02892 0.10305 0.05641 0.19231 0.15031 0.76154
INFLO 2 0.07692 0.02892 0.05433 0.00515 0.10256 0.05590 0.46735
INFLO 72 0.03846 -0.01154 0.08447 0.03686 0.18301 0.14052 0.69992
INFLO 80 0.03846 -0.01154 0.08404 0.03641 0.18543 0.14307 0.68654
COF 93 0.23077 0.19077 0.13424 0.08922 0.24138 0.20193 0.73800
COF 94 0.23077 0.19077 0.13612 0.09120 0.25926 0.22074 0.73608
COF 96 0.26923 0.23123 0.13536 0.09039 0.27451 0.23678 0.73162

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 8 attributes, 526 objects, 26 outliers (4.94%)

Download raw algorithm results (4.6 MB) Download raw algorithm evaluation table (51.2 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 5 0.15385 0.10985 0.08698 0.03950 0.16495 0.12153 0.65031
KNN 20 0.15385 0.10985 0.11409 0.06803 0.24176 0.20233 0.70923
KNN 53 0.15385 0.10985 0.11523 0.06923 0.26667 0.22853 0.69954
KNN 98 0.11538 0.06938 0.11602 0.07005 0.24242 0.20303 0.69123
KNNW 9 0.15385 0.10985 0.08526 0.03769 0.17143 0.12834 0.64992
KNNW 45 0.15385 0.10985 0.11110 0.06488 0.23214 0.19221 0.70369
KNNW 61 0.15385 0.10985 0.11324 0.06713 0.26263 0.22428 0.70192
KNNW 99 0.15385 0.10985 0.11592 0.06994 0.24762 0.20850 0.70031
LOF 48 0.11538 0.06938 0.08947 0.04213 0.17500 0.13210 0.68554
LOF 99 0.07692 0.02892 0.11008 0.06381 0.23448 0.19468 0.73223
LOF 100 0.07692 0.02892 0.11029 0.06403 0.23611 0.19639 0.73208
SimplifiedLOF 42 0.03846 -0.01154 0.07603 0.02798 0.16667 0.12333 0.64185
SimplifiedLOF 99 0.03846 -0.01154 0.09512 0.04806 0.20000 0.15840 0.69585
SimplifiedLOF 100 0.03846 -0.01154 0.09566 0.04863 0.20000 0.15840 0.69708
LoOP 55 0.03846 -0.01154 0.07452 0.02640 0.15842 0.11465 0.63423
LoOP 86 0.03846 -0.01154 0.08108 0.03329 0.17582 0.13297 0.66338
LoOP 100 0.03846 -0.01154 0.08480 0.03721 0.17391 0.13096 0.67354
LDOF 5 0.03846 -0.01154 0.04661 -0.00297 0.10000 0.05320 0.46285
LDOF 78 0.03846 -0.01154 0.08134 0.03357 0.19277 0.15080 0.64923
LDOF 95 0.03846 -0.01154 0.08438 0.03677 0.18605 0.14372 0.66400
LDOF 100 0.03846 -0.01154 0.08363 0.03598 0.18182 0.13927 0.66423
ODIN 81 0.04701 -0.00255 0.07547 0.02739 0.17518 0.13229 0.63112
ODIN 86 0.11795 0.07208 0.08015 0.03232 0.16901 0.12580 0.64131
ODIN 98 0.10096 0.05421 0.08449 0.03688 0.17460 0.13168 0.66500
ODIN 100 0.10096 0.05421 0.08460 0.03700 0.17188 0.12881 0.66346
FastABOD 4 0.15385 0.10985 0.09751 0.05059 0.18018 0.13755 0.67654
FastABOD 100 0.15385 0.10985 0.10669 0.06024 0.21818 0.17753 0.68415
KDEOS 9 0.03846 -0.01154 0.08593 0.03840 0.10000 0.05320 0.48231
KDEOS 13 0.11538 0.06938 0.06739 0.01889 0.12000 0.07424 0.51400
KDEOS 90 0.00000 -0.05200 0.06281 0.01408 0.14130 0.09665 0.60946
KDEOS 100 0.00000 -0.05200 0.06319 0.01448 0.13725 0.09239 0.61331
LDF 18 0.11538 0.06938 0.08590 0.03837 0.17949 0.13682 0.65815
LDF 68 0.03846 -0.01154 0.10834 0.06197 0.24390 0.20459 0.73469
LDF 80 0.07692 0.02892 0.11237 0.06621 0.24286 0.20349 0.73992
LDF 100 0.11538 0.06938 0.11356 0.06747 0.23077 0.19077 0.73131
INFLO 34 0.00000 -0.05200 0.08290 0.03521 0.18462 0.14222 0.68938
INFLO 88 0.07692 0.02892 0.09438 0.04729 0.21591 0.17514 0.67627
INFLO 94 0.07692 0.02892 0.09841 0.05153 0.22857 0.18846 0.68377
INFLO 99 0.07692 0.02892 0.09997 0.05317 0.21858 0.17795 0.68531
COF 22 0.07692 0.02892 0.06338 0.01467 0.12019 0.07444 0.58873
COF 37 0.03846 -0.01154 0.07932 0.03145 0.20202 0.16053 0.62554
COF 100 0.00000 -0.05200 0.09402 0.04691 0.19277 0.15080 0.70385

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO