Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Pima (5% of outliers version#06)

The data set contains medical data on diabetes. Patients suffering from diabetes were considered outliers.

Download all data set variants used (694.8 kB). You can also access the original data. (pima-indians-diabetes.data)

Normalized, without duplicates

This version contains 8 attributes, 526 objects, 26 outliers (4.94%)

Download raw algorithm results (4.6 MB) Download raw algorithm evaluation table (48.5 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.11538 0.06938 0.09606 0.04906 0.16107 0.11745 0.65031
KNN 73 0.11538 0.06938 0.10604 0.05955 0.18905 0.14689 0.72900
KNN 94 0.11538 0.06938 0.10652 0.06006 0.18182 0.13927 0.73669
KNN 100 0.11538 0.06938 0.10974 0.06345 0.18182 0.13927 0.73646
KNNW 3 0.07692 0.02892 0.09887 0.05202 0.17886 0.13616 0.65623
KNNW 48 0.11538 0.06938 0.09979 0.05297 0.17143 0.12834 0.70092
KNNW 97 0.11538 0.06938 0.10352 0.05690 0.17647 0.13365 0.71854
KNNW 100 0.11538 0.06938 0.10346 0.05684 0.17647 0.13365 0.71908
LOF 1 0.11538 0.06938 0.06336 0.01466 0.12308 0.07748 0.51658
LOF 11 0.03846 -0.01154 0.07825 0.03032 0.18462 0.14222 0.58515
LOF 100 0.11538 0.06938 0.09043 0.04313 0.16102 0.11739 0.69931
SimplifiedLOF 1 0.11538 0.06938 0.07251 0.02428 0.14815 0.10385 0.61042
SimplifiedLOF 14 0.07692 0.02892 0.07896 0.03107 0.15652 0.11266 0.57477
SimplifiedLOF 17 0.07692 0.02892 0.07787 0.02992 0.16529 0.12188 0.57377
LoOP 1 0.11538 0.06938 0.07244 0.02420 0.14815 0.10385 0.60935
LoOP 5 0.15385 0.10985 0.07548 0.02740 0.16327 0.11976 0.50081
LoOP 24 0.11538 0.06938 0.08019 0.03236 0.16949 0.12631 0.57762
LoOP 25 0.11538 0.06938 0.07934 0.03146 0.17857 0.13586 0.57531
LDOF 2 0.15385 0.10985 0.08358 0.03593 0.22222 0.18178 0.55992
LDOF 5 0.19231 0.15031 0.09870 0.05184 0.21277 0.17183 0.59600
ODIN 48 0.13736 0.09251 0.07651 0.02849 0.17544 0.13256 0.58377
ODIN 52 0.15385 0.10985 0.07678 0.02877 0.15873 0.11498 0.58827
ODIN 100 0.11538 0.06938 0.08528 0.03771 0.14634 0.10195 0.64977
FastABOD 41 0.15385 0.10985 0.12713 0.08174 0.24561 0.20639 0.71346
FastABOD 60 0.19231 0.15031 0.12819 0.08286 0.23333 0.19347 0.71515
FastABOD 99 0.19231 0.15031 0.13042 0.08520 0.22951 0.18944 0.72200
KDEOS 2 0.03846 -0.01154 0.06479 0.01616 0.15094 0.10679 0.59577
KDEOS 3 0.03846 -0.01154 0.09712 0.05018 0.13065 0.08545 0.57731
KDEOS 7 0.07692 0.02892 0.06133 0.01252 0.12621 0.08078 0.53523
LDF 1 0.11538 0.06938 0.06255 0.01381 0.12766 0.08230 0.50119
LDF 99 0.11538 0.06938 0.09920 0.05236 0.18269 0.14019 0.73962
LDF 100 0.11538 0.06938 0.10007 0.05327 0.18357 0.14112 0.73946
INFLO 4 0.15385 0.10985 0.07277 0.02456 0.17391 0.13096 0.52231
INFLO 21 0.15385 0.10985 0.08036 0.03254 0.18519 0.14281 0.54404
INFLO 23 0.15385 0.10985 0.08318 0.03550 0.18182 0.13927 0.54265
INFLO 88 0.11538 0.06938 0.08209 0.03436 0.15484 0.11089 0.64292
COF 1 0.11538 0.06938 0.07254 0.02431 0.14815 0.10385 0.61042
COF 96 0.07692 0.02892 0.08709 0.03962 0.18182 0.13927 0.67646
COF 100 0.03846 -0.01154 0.08638 0.03887 0.17857 0.13586 0.68300

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 8 attributes, 526 objects, 26 outliers (4.94%)

Download raw algorithm results (4.6 MB) Download raw algorithm evaluation table (47.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.19231 0.15031 0.10204 0.05535 0.19231 0.15031 0.57865
KNN 3 0.19231 0.15031 0.10292 0.05627 0.19231 0.15031 0.58342
KNN 7 0.15385 0.10985 0.10843 0.06206 0.24242 0.20303 0.56792
KNNW 1 0.19231 0.15031 0.10460 0.05804 0.22727 0.18709 0.59196
KNNW 3 0.19231 0.15031 0.10800 0.06161 0.20000 0.15840 0.58323
LOF 10 0.07692 0.02892 0.08640 0.03890 0.20930 0.16819 0.62146
LOF 14 0.11538 0.06938 0.09544 0.04841 0.21978 0.17921 0.60223
LOF 20 0.19231 0.15031 0.10288 0.05623 0.21739 0.17670 0.59985
SimplifiedLOF 13 0.03846 -0.01154 0.08046 0.03265 0.17391 0.13096 0.62623
SimplifiedLOF 19 0.19231 0.15031 0.10287 0.05621 0.21333 0.17243 0.61346
SimplifiedLOF 26 0.19231 0.15031 0.10629 0.05982 0.23377 0.19392 0.61423
SimplifiedLOF 32 0.15385 0.10985 0.10684 0.06039 0.20588 0.16459 0.59238
LoOP 18 0.15385 0.10985 0.08749 0.04003 0.19718 0.15544 0.61677
LoOP 26 0.11538 0.06938 0.09761 0.05068 0.23684 0.19716 0.61596
LoOP 27 0.19231 0.15031 0.09708 0.05013 0.22500 0.18470 0.60631
LoOP 71 0.15385 0.10985 0.10151 0.05479 0.18182 0.13927 0.55708
LDOF 2 0.11538 0.06938 0.10262 0.05596 0.17778 0.13502 0.64000
LDOF 3 0.15385 0.10985 0.08832 0.04091 0.18868 0.14649 0.57777
LDOF 38 0.15385 0.10985 0.09841 0.05153 0.23529 0.19553 0.58823
LDOF 60 0.15385 0.10985 0.10829 0.06193 0.19277 0.15080 0.58223
ODIN 11 0.06213 0.01336 0.07843 0.03050 0.16667 0.12333 0.60346
ODIN 35 0.10577 0.05927 0.08017 0.03234 0.22500 0.18470 0.54442
ODIN 79 0.19231 0.15031 0.08803 0.04060 0.19231 0.15031 0.56150
ODIN 88 0.19231 0.15031 0.09422 0.04712 0.20833 0.16717 0.56381
FastABOD 3 0.19231 0.15031 0.11307 0.06695 0.24390 0.20459 0.63308
FastABOD 4 0.19231 0.15031 0.12573 0.08027 0.24390 0.20459 0.63769
KDEOS 3 0.03846 -0.01154 0.07551 0.02744 0.16374 0.12026 0.60492
KDEOS 4 0.15385 0.10985 0.07790 0.02995 0.16327 0.11976 0.58831
KDEOS 5 0.15385 0.10985 0.12989 0.08464 0.20000 0.15840 0.59569
LDF 14 0.19231 0.15031 0.10582 0.05933 0.21622 0.17546 0.60631
LDF 17 0.19231 0.15031 0.10703 0.06060 0.20370 0.16230 0.60008
LDF 79 0.11538 0.06938 0.09882 0.05196 0.15789 0.11411 0.62677
INFLO 8 0.07692 0.02892 0.07876 0.03086 0.15686 0.11302 0.66115
INFLO 13 0.15385 0.10985 0.08412 0.03649 0.18919 0.14703 0.58946
INFLO 20 0.15385 0.10985 0.10188 0.05518 0.24615 0.20695 0.60392
INFLO 73 0.15385 0.10985 0.10534 0.05881 0.16923 0.12603 0.62227
COF 16 0.07692 0.02892 0.08148 0.03372 0.17347 0.13049 0.65485
COF 32 0.07692 0.02892 0.07514 0.02705 0.18182 0.13927 0.58004
COF 36 0.15385 0.10985 0.07674 0.02873 0.17910 0.13642 0.58042
COF 96 0.11538 0.06938 0.08872 0.04133 0.14815 0.10385 0.62954

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO