Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Pima (2% of outliers version#03)

The data set contains medical data on diabetes. Patients suffering from diabetes were considered outliers.

Download all data set variants used (694.8 kB). You can also access the original data. (pima-indians-diabetes.data)

Normalized, without duplicates

This version contains 8 attributes, 510 objects, 10 outliers (1.96%)

Download raw algorithm results (4.5 MB) Download raw algorithm evaluation table (39.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.00000 -0.02000 0.08353 0.06520 0.24242 0.22727 0.81060
KNN 5 0.00000 -0.02000 0.10027 0.08228 0.23529 0.22000 0.87020
KNN 6 0.00000 -0.02000 0.10187 0.08391 0.25641 0.24154 0.86660
KNNW 1 0.05000 0.03100 0.07794 0.05950 0.21429 0.19857 0.73740
KNNW 4 0.00000 -0.02000 0.09156 0.07339 0.26667 0.25200 0.81140
KNNW 7 0.00000 -0.02000 0.09620 0.07812 0.26667 0.25200 0.84780
KNNW 10 0.00000 -0.02000 0.09391 0.07579 0.24242 0.22727 0.85440
LOF 3 0.20000 0.18400 0.09116 0.07298 0.22222 0.20667 0.70300
LOF 15 0.10000 0.08200 0.07953 0.06112 0.18182 0.16545 0.83800
SimplifiedLOF 3 0.20000 0.18400 0.08247 0.06411 0.22222 0.20667 0.63960
SimplifiedLOF 4 0.20000 0.18400 0.09660 0.07853 0.23529 0.22000 0.65180
SimplifiedLOF 84 0.00000 -0.02000 0.06886 0.05024 0.15625 0.13938 0.83580
LoOP 4 0.20000 0.18400 0.08557 0.06728 0.21053 0.19474 0.67250
LoOP 79 0.10000 0.08200 0.07644 0.05797 0.17857 0.16214 0.83900
LDOF 2 0.10000 0.08200 0.04678 0.02772 0.12500 0.10750 0.64720
LDOF 15 0.10000 0.08200 0.08611 0.06784 0.23077 0.21538 0.70040
LDOF 16 0.10000 0.08200 0.08348 0.06515 0.24000 0.22480 0.70660
LDOF 88 0.10000 0.08200 0.07484 0.05633 0.15000 0.13300 0.83000
ODIN 15 0.20000 0.18400 0.09001 0.07181 0.20000 0.18400 0.80990
ODIN 23 0.20000 0.18400 0.13363 0.11630 0.25000 0.23500 0.81980
ODIN 24 0.20000 0.18400 0.13921 0.12199 0.25000 0.23500 0.82950
ODIN 29 0.10000 0.08200 0.12508 0.10759 0.24242 0.22727 0.83480
FastABOD 7 0.20000 0.18400 0.10399 0.08607 0.22222 0.20667 0.79760
FastABOD 10 0.10000 0.08200 0.10646 0.08859 0.22857 0.21314 0.80540
FastABOD 41 0.10000 0.08200 0.13066 0.11327 0.21053 0.19474 0.81480
FastABOD 98 0.10000 0.08200 0.10524 0.08734 0.21622 0.20054 0.82540
KDEOS 5 0.10000 0.08200 0.04412 0.02500 0.12500 0.10750 0.60720
KDEOS 29 0.10000 0.08200 0.06945 0.05084 0.15385 0.13692 0.69260
KDEOS 35 0.10000 0.08200 0.05551 0.03662 0.15385 0.13692 0.70600
KDEOS 96 0.00000 -0.02000 0.04884 0.02981 0.11429 0.09657 0.76900
LDF 1 0.10000 0.08200 0.06748 0.04883 0.16667 0.15000 0.46500
LDF 3 0.10000 0.08200 0.09132 0.07315 0.16000 0.14320 0.73640
LDF 9 0.00000 -0.02000 0.08076 0.06237 0.17778 0.16133 0.84820
LDF 66 0.00000 -0.02000 0.07795 0.05951 0.19512 0.17902 0.82520
INFLO 1 0.10000 0.08200 0.07862 0.06020 0.16667 0.15000 0.63800
INFLO 4 0.10000 0.08200 0.10013 0.08213 0.28571 0.27143 0.76280
INFLO 77 0.10000 0.08200 0.07631 0.05784 0.17241 0.15586 0.83900
COF 37 0.10000 0.08200 0.12878 0.11136 0.26087 0.24609 0.87600
COF 41 0.30000 0.28600 0.16062 0.14383 0.35294 0.34000 0.87200

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 8 attributes, 510 objects, 10 outliers (1.96%)

Download raw algorithm results (4.4 MB) Download raw algorithm evaluation table (40.0 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.00000 -0.02000 0.07968 0.06127 0.21429 0.19857 0.77380
KNN 2 0.10000 0.08200 0.08731 0.06906 0.18182 0.16545 0.78190
KNN 23 0.10000 0.08200 0.06752 0.04887 0.13846 0.12123 0.83300
KNNW 2 0.10000 0.08200 0.07737 0.05892 0.18182 0.16545 0.76860
KNNW 3 0.00000 -0.02000 0.08097 0.06259 0.20690 0.19103 0.77440
KNNW 30 0.10000 0.08200 0.06912 0.05050 0.14679 0.12972 0.83140
LOF 4 0.10000 0.08200 0.06046 0.04167 0.15385 0.13692 0.69700
LOF 19 0.00000 -0.02000 0.07031 0.05171 0.17391 0.15739 0.79700
LOF 22 0.00000 -0.02000 0.06945 0.05084 0.18605 0.16977 0.81740
LOF 73 0.10000 0.08200 0.06984 0.05124 0.13445 0.11714 0.83660
SimplifiedLOF 3 0.10000 0.08200 0.04220 0.02304 0.10526 0.08737 0.61280
SimplifiedLOF 30 0.00000 -0.02000 0.06356 0.04483 0.19048 0.17429 0.78320
SimplifiedLOF 82 0.10000 0.08200 0.07012 0.05153 0.13953 0.12233 0.82440
SimplifiedLOF 89 0.10000 0.08200 0.06931 0.05070 0.13953 0.12233 0.82840
LoOP 3 0.10000 0.08200 0.04322 0.02408 0.12500 0.10750 0.60220
LoOP 36 0.00000 -0.02000 0.06395 0.04523 0.20000 0.18400 0.78380
LoOP 70 0.00000 -0.02000 0.07097 0.05239 0.15094 0.13396 0.81720
LoOP 92 0.00000 -0.02000 0.06977 0.05116 0.14634 0.12927 0.82600
LDOF 2 0.10000 0.08200 0.05160 0.03263 0.14286 0.12571 0.61280
LDOF 41 0.00000 -0.02000 0.07378 0.05526 0.22857 0.21314 0.79400
LDOF 60 0.00000 -0.02000 0.07876 0.06033 0.20000 0.18400 0.81420
LDOF 92 0.10000 0.08200 0.07530 0.05681 0.16000 0.14320 0.83180
ODIN 17 0.20000 0.18400 0.07497 0.05647 0.21053 0.19474 0.72480
ODIN 25 0.20000 0.18400 0.10509 0.08719 0.23529 0.22000 0.81430
ODIN 37 0.06667 0.04800 0.08672 0.06845 0.18182 0.16545 0.84860
FastABOD 4 0.00000 -0.02000 0.07371 0.05518 0.19355 0.17742 0.80000
FastABOD 20 0.10000 0.08200 0.07318 0.05464 0.16216 0.14541 0.78340
FastABOD 50 0.10000 0.08200 0.07657 0.05810 0.15789 0.14105 0.79020
KDEOS 24 0.20000 0.18400 0.05858 0.03976 0.20000 0.18400 0.67100
KDEOS 93 0.10000 0.08200 0.07088 0.05230 0.13333 0.11600 0.78360
KDEOS 99 0.10000 0.08200 0.07064 0.05205 0.13333 0.11600 0.78860
LDF 5 0.10000 0.08200 0.07591 0.05743 0.19512 0.17902 0.79040
LDF 7 0.00000 -0.02000 0.07731 0.05885 0.20000 0.18400 0.79940
LDF 37 0.00000 -0.02000 0.06871 0.05008 0.13333 0.11600 0.83980
INFLO 3 0.10000 0.08200 0.05096 0.03198 0.11765 0.10000 0.69120
INFLO 30 0.00000 -0.02000 0.06678 0.04812 0.19048 0.17429 0.81800
INFLO 63 0.00000 -0.02000 0.07456 0.05605 0.14286 0.12571 0.84420
INFLO 74 0.10000 0.08200 0.07457 0.05606 0.14286 0.12571 0.84320
COF 6 0.10000 0.08200 0.05156 0.03259 0.11765 0.10000 0.63280
COF 83 0.10000 0.08200 0.09796 0.07992 0.20000 0.18400 0.84920
COF 93 0.10000 0.08200 0.09212 0.07396 0.20513 0.18923 0.85750
COF 99 0.10000 0.08200 0.09665 0.07859 0.24242 0.22727 0.84760

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO