Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Pima (2% of outliers version#02)

The data set contains medical data on diabetes. Patients suffering from diabetes were considered outliers.

Download all data set variants used (694.8 kB). You can also access the original data. (pima-indians-diabetes.data)

Normalized, without duplicates

This version contains 8 attributes, 510 objects, 10 outliers (1.96%)

Download raw algorithm results (4.5 MB) Download raw algorithm evaluation table (37.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.10000 0.08200 0.08433 0.06602 0.16667 0.15000 0.71130
KNN 7 0.10000 0.08200 0.09092 0.07274 0.16667 0.15000 0.73520
KNN 8 0.10000 0.08200 0.09609 0.07801 0.16667 0.15000 0.73340
KNNW 1 0.10000 0.08200 0.09078 0.07259 0.16667 0.15000 0.70450
KNNW 9 0.10000 0.08200 0.08725 0.06899 0.16667 0.15000 0.73220
LOF 1 0.20000 0.18400 0.12146 0.10389 0.26667 0.25200 0.65730
LOF 69 0.10000 0.08200 0.08241 0.06406 0.16667 0.15000 0.68140
SimplifiedLOF 1 0.20000 0.18400 0.18940 0.17318 0.28571 0.27143 0.61720
SimplifiedLOF 83 0.10000 0.08200 0.07966 0.06126 0.16667 0.15000 0.66100
LoOP 1 0.20000 0.18400 0.18930 0.17309 0.28571 0.27143 0.61360
LoOP 83 0.10000 0.08200 0.07926 0.06084 0.16667 0.15000 0.65660
LDOF 2 0.10000 0.08200 0.04131 0.02214 0.11765 0.10000 0.56380
LDOF 4 0.10000 0.08200 0.04737 0.02831 0.16000 0.14320 0.59280
LDOF 68 0.10000 0.08200 0.06389 0.04516 0.15385 0.13692 0.67680
ODIN 9 0.11818 0.10055 0.04439 0.02528 0.13793 0.12069 0.59810
ODIN 37 0.10000 0.08200 0.05354 0.03461 0.14286 0.12571 0.66260
ODIN 97 0.10000 0.08200 0.07704 0.05858 0.16667 0.15000 0.63590
ODIN 99 0.10000 0.08200 0.07768 0.05924 0.16667 0.15000 0.63760
FastABOD 3 0.10000 0.08200 0.07244 0.05389 0.15385 0.13692 0.68040
FastABOD 9 0.10000 0.08200 0.08985 0.07165 0.16667 0.15000 0.74840
FastABOD 28 0.10000 0.08200 0.09589 0.07781 0.16667 0.15000 0.77900
FastABOD 46 0.10000 0.08200 0.09670 0.07864 0.16667 0.15000 0.77840
KDEOS 4 0.10000 0.08200 0.03080 0.01142 0.10000 0.08200 0.49700
KDEOS 31 0.00000 -0.02000 0.04020 0.02101 0.14286 0.12571 0.61640
KDEOS 36 0.00000 -0.02000 0.04299 0.02385 0.14286 0.12571 0.63080
LDF 1 0.20000 0.18400 0.16103 0.14425 0.26667 0.25200 0.61250
LDF 31 0.10000 0.08200 0.08716 0.06890 0.16667 0.15000 0.70200
INFLO 1 0.10000 0.08200 0.09932 0.08131 0.16667 0.15000 0.60860
INFLO 99 0.10000 0.08200 0.08196 0.06360 0.16667 0.15000 0.70220
COF 1 0.20000 0.18400 0.18882 0.17259 0.28571 0.27143 0.59470
COF 98 0.10000 0.08200 0.09153 0.07336 0.20000 0.18400 0.78460

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 8 attributes, 510 objects, 10 outliers (1.96%)

Download raw algorithm results (4.4 MB) Download raw algorithm evaluation table (37.2 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.10000 0.08200 0.13309 0.11575 0.18182 0.16545 0.60020
KNN 15 0.10000 0.08200 0.14795 0.13090 0.18182 0.16545 0.70480
KNN 17 0.10000 0.08200 0.14778 0.13074 0.18182 0.16545 0.70810
KNNW 1 0.10000 0.08200 0.14276 0.12561 0.18182 0.16545 0.61970
KNNW 75 0.10000 0.08200 0.14633 0.12926 0.18182 0.16545 0.69880
LOF 4 0.10000 0.08200 0.04367 0.02455 0.14286 0.12571 0.50440
LOF 6 0.10000 0.08200 0.11907 0.10145 0.18182 0.16545 0.52380
LOF 83 0.10000 0.08200 0.14844 0.13141 0.18182 0.16545 0.71840
LOF 85 0.10000 0.08200 0.14952 0.13251 0.18182 0.16545 0.71780
SimplifiedLOF 4 0.10000 0.08200 0.03483 0.01553 0.13333 0.11600 0.36960
SimplifiedLOF 5 0.10000 0.08200 0.11524 0.09754 0.18182 0.16545 0.38240
SimplifiedLOF 92 0.10000 0.08200 0.14376 0.12664 0.18182 0.16545 0.64940
SimplifiedLOF 100 0.10000 0.08200 0.14340 0.12627 0.18182 0.16545 0.65500
LoOP 4 0.10000 0.08200 0.03237 0.01302 0.12500 0.10750 0.40780
LoOP 6 0.10000 0.08200 0.11574 0.09806 0.18182 0.16545 0.38240
LoOP 54 0.10000 0.08200 0.13457 0.11726 0.18182 0.16545 0.64440
LoOP 61 0.10000 0.08200 0.08785 0.06960 0.16667 0.15000 0.64890
LDOF 4 0.10000 0.08200 0.02510 0.00560 0.10000 0.08200 0.36100
LDOF 8 0.10000 0.08200 0.11477 0.09707 0.18182 0.16545 0.38020
LDOF 66 0.10000 0.08200 0.13682 0.11956 0.18182 0.16545 0.64400
LDOF 98 0.10000 0.08200 0.13833 0.12110 0.18182 0.16545 0.62120
ODIN 33 0.10000 0.08200 0.03679 0.01752 0.10000 0.08200 0.64210
ODIN 60 0.10000 0.08200 0.05220 0.03324 0.13333 0.11600 0.67070
ODIN 64 0.10000 0.08200 0.05682 0.03795 0.14286 0.12571 0.65000
ODIN 83 0.10000 0.08200 0.06083 0.04205 0.14286 0.12571 0.64940
FastABOD 3 0.10000 0.08200 0.13542 0.11813 0.18182 0.16545 0.62460
FastABOD 97 0.10000 0.08200 0.14566 0.12858 0.18182 0.16545 0.68060
KDEOS 2 0.00000 -0.02000 0.02104 0.00146 0.04308 0.02394 0.50100
KDEOS 82 0.00000 -0.02000 0.02680 0.00733 0.06579 0.04711 0.59620
KDEOS 99 0.00000 -0.02000 0.02841 0.00897 0.05797 0.03913 0.61000
LDF 3 0.10000 0.08200 0.11814 0.10050 0.18182 0.16545 0.49680
LDF 28 0.10000 0.08200 0.14370 0.12657 0.18182 0.16545 0.73160
LDF 65 0.10000 0.08200 0.15160 0.13464 0.18182 0.16545 0.72700
INFLO 4 0.10000 0.08200 0.03081 0.01142 0.12500 0.10750 0.33360
INFLO 6 0.10000 0.08200 0.11818 0.10055 0.18182 0.16545 0.48380
INFLO 67 0.10000 0.08200 0.14609 0.12901 0.18182 0.16545 0.70060
COF 7 0.10000 0.08200 0.03440 0.01509 0.11111 0.09333 0.51550
COF 22 0.10000 0.08200 0.13544 0.11814 0.18182 0.16545 0.72900
COF 31 0.10000 0.08200 0.14955 0.13254 0.18182 0.16545 0.76750
COF 35 0.10000 0.08200 0.15266 0.13571 0.18182 0.16545 0.76540

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO