Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Pima (2% of outliers version#04)

The data set contains medical data on diabetes. Patients suffering from diabetes were considered outliers.

Download all data set variants used (694.8 kB). You can also access the original data. (pima-indians-diabetes.data)

Normalized, without duplicates

This version contains 8 attributes, 510 objects, 10 outliers (1.96%)

Download raw algorithm results (4.5 MB) Download raw algorithm evaluation table (39.5 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.10000 0.08200 0.12528 0.10779 0.19048 0.17429 0.76240
KNN 2 0.10000 0.08200 0.13634 0.11907 0.24000 0.22480 0.78620
KNN 50 0.10000 0.08200 0.13319 0.11585 0.25000 0.23500 0.78960
KNN 91 0.10000 0.08200 0.13166 0.11429 0.22727 0.21182 0.79800
KNNW 1 0.10000 0.08200 0.08343 0.06510 0.21053 0.19474 0.71460
KNNW 99 0.10000 0.08200 0.13469 0.11738 0.25000 0.23500 0.79280
KNNW 100 0.10000 0.08200 0.13491 0.11761 0.25000 0.23500 0.79320
LOF 1 0.10000 0.08200 0.04810 0.02906 0.12500 0.10750 0.64470
LOF 20 0.10000 0.08200 0.06502 0.04632 0.19048 0.17429 0.67240
LOF 100 0.10000 0.08200 0.11414 0.09643 0.18182 0.16545 0.76220
SimplifiedLOF 5 0.00000 -0.02000 0.04826 0.02923 0.10667 0.08880 0.74860
SimplifiedLOF 25 0.20000 0.18400 0.06496 0.04626 0.20000 0.18400 0.68000
SimplifiedLOF 48 0.20000 0.18400 0.08257 0.06422 0.21053 0.19474 0.69440
SimplifiedLOF 75 0.20000 0.18400 0.09225 0.07409 0.20000 0.18400 0.71360
LoOP 6 0.00000 -0.02000 0.04917 0.03015 0.10811 0.09027 0.75260
LoOP 45 0.20000 0.18400 0.07100 0.05242 0.20000 0.18400 0.68430
LoOP 75 0.20000 0.18400 0.08643 0.06816 0.21053 0.19474 0.71260
LDOF 9 0.00000 -0.02000 0.05591 0.03703 0.13793 0.12069 0.77240
LDOF 47 0.20000 0.18400 0.06775 0.04911 0.20000 0.18400 0.71560
LDOF 100 0.10000 0.08200 0.07543 0.05694 0.16667 0.15000 0.70740
ODIN 18 0.10000 0.08200 0.06447 0.04576 0.15385 0.13692 0.69890
ODIN 61 0.10000 0.08200 0.10960 0.09179 0.20000 0.18400 0.71340
ODIN 99 0.10000 0.08200 0.07847 0.06004 0.14286 0.12571 0.73780
FastABOD 7 0.20000 0.18400 0.11935 0.10174 0.28571 0.27143 0.80060
FastABOD 67 0.20000 0.18400 0.13906 0.12184 0.30000 0.28600 0.81680
FastABOD 95 0.20000 0.18400 0.15150 0.13453 0.30000 0.28600 0.82000
FastABOD 98 0.20000 0.18400 0.16967 0.15306 0.30000 0.28600 0.81980
KDEOS 8 0.10000 0.08200 0.04577 0.02668 0.10000 0.08200 0.69060
KDEOS 10 0.00000 -0.02000 0.04508 0.02598 0.11765 0.10000 0.71880
KDEOS 20 0.10000 0.08200 0.06993 0.05133 0.15385 0.13692 0.68620
LDF 20 0.20000 0.18400 0.07892 0.06050 0.21053 0.19474 0.71500
LDF 100 0.10000 0.08200 0.12822 0.11079 0.18182 0.16545 0.79840
INFLO 15 0.10000 0.08200 0.05899 0.04017 0.13333 0.11600 0.70640
INFLO 20 0.10000 0.08200 0.06886 0.05024 0.19048 0.17429 0.66680
INFLO 93 0.10000 0.08200 0.10932 0.09150 0.17391 0.15739 0.78380
INFLO 100 0.10000 0.08200 0.09415 0.07603 0.17391 0.15739 0.78680
COF 91 0.30000 0.28600 0.19921 0.18319 0.35714 0.34429 0.79700
COF 95 0.30000 0.28600 0.19150 0.17533 0.41667 0.40500 0.78480
COF 96 0.30000 0.28600 0.21647 0.20079 0.41667 0.40500 0.78780
COF 98 0.40000 0.38800 0.20198 0.18601 0.40000 0.38800 0.79460

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 8 attributes, 510 objects, 10 outliers (1.96%)

Download raw algorithm results (4.4 MB) Download raw algorithm evaluation table (40.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.20000 0.18400 0.08334 0.06501 0.20000 0.18400 0.76640
KNN 5 0.10000 0.08200 0.09761 0.07957 0.22857 0.21314 0.75340
KNN 7 0.10000 0.08200 0.09431 0.07620 0.23529 0.22000 0.76820
KNN 14 0.10000 0.08200 0.09405 0.07593 0.20513 0.18923 0.77880
KNNW 1 0.20000 0.18400 0.09286 0.07472 0.25000 0.23500 0.72060
KNNW 3 0.20000 0.18400 0.09292 0.07478 0.23529 0.22000 0.75720
KNNW 22 0.10000 0.08200 0.09015 0.07195 0.19355 0.17742 0.77060
LOF 16 0.00000 -0.02000 0.05979 0.04098 0.20000 0.18400 0.68860
LOF 25 0.10000 0.08200 0.06309 0.04435 0.18750 0.17125 0.70860
LOF 99 0.10000 0.08200 0.08383 0.06550 0.18182 0.16545 0.76900
LOF 100 0.10000 0.08200 0.08401 0.06569 0.18182 0.16545 0.76900
SimplifiedLOF 8 0.10000 0.08200 0.03728 0.01803 0.10811 0.09027 0.50560
SimplifiedLOF 18 0.00000 -0.02000 0.06231 0.04355 0.18182 0.16545 0.70820
SimplifiedLOF 23 0.00000 -0.02000 0.06583 0.04714 0.21053 0.19474 0.69140
SimplifiedLOF 100 0.10000 0.08200 0.07581 0.05732 0.19048 0.17429 0.69960
LoOP 7 0.10000 0.08200 0.03525 0.01596 0.10811 0.09027 0.50380
LoOP 19 0.00000 -0.02000 0.05704 0.03818 0.16667 0.15000 0.71650
LoOP 81 0.10000 0.08200 0.07024 0.05165 0.20690 0.19103 0.68920
LoOP 96 0.10000 0.08200 0.07445 0.05594 0.20000 0.18400 0.69180
LDOF 2 0.10000 0.08200 0.02808 0.00864 0.10000 0.08200 0.48120
LDOF 45 0.10000 0.08200 0.07447 0.05596 0.17143 0.15486 0.64240
LDOF 61 0.10000 0.08200 0.07080 0.05222 0.18750 0.17125 0.65420
LDOF 100 0.10000 0.08200 0.07293 0.05439 0.18182 0.16545 0.66680
ODIN 95 0.06667 0.04800 0.06511 0.04641 0.20000 0.18400 0.69490
ODIN 100 0.06667 0.04800 0.06719 0.04853 0.20690 0.19103 0.70340
FastABOD 5 0.10000 0.08200 0.08697 0.06871 0.23077 0.21538 0.78660
FastABOD 6 0.10000 0.08200 0.08510 0.06681 0.23077 0.21538 0.78700
FastABOD 13 0.10000 0.08200 0.08474 0.06643 0.24000 0.22480 0.77600
FastABOD 99 0.10000 0.08200 0.09181 0.07364 0.22222 0.20667 0.78660
KDEOS 5 0.10000 0.08200 0.03196 0.01260 0.11111 0.09333 0.48560
KDEOS 6 0.10000 0.08200 0.05186 0.03289 0.15385 0.13692 0.43340
KDEOS 92 0.00000 -0.02000 0.03683 0.01757 0.09804 0.08000 0.64020
LDF 16 0.10000 0.08200 0.08427 0.06595 0.19355 0.17742 0.73980
LDF 96 0.10000 0.08200 0.08414 0.06582 0.17544 0.15895 0.77660
LDF 100 0.10000 0.08200 0.08488 0.06658 0.18182 0.16545 0.77400
INFLO 6 0.10000 0.08200 0.03584 0.01655 0.11111 0.09333 0.45000
INFLO 19 0.00000 -0.02000 0.05826 0.03943 0.16667 0.15000 0.72900
INFLO 96 0.10000 0.08200 0.07918 0.06076 0.22222 0.20667 0.63140
COF 6 0.10000 0.08200 0.03455 0.01524 0.11111 0.09333 0.50210
COF 34 0.00000 -0.02000 0.08046 0.06207 0.22222 0.20667 0.76180
COF 83 0.10000 0.08200 0.07206 0.05350 0.16129 0.14452 0.78840

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO