Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Pima (2% of outliers version#07)

The data set contains medical data on diabetes. Patients suffering from diabetes were considered outliers.

Download all data set variants used (694.8 kB). You can also access the original data. (pima-indians-diabetes.data)

Normalized, without duplicates

This version contains 8 attributes, 510 objects, 10 outliers (1.96%)

Download raw algorithm results (4.5 MB) Download raw algorithm evaluation table (41.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.00000 -0.02000 0.05328 0.03435 0.13333 0.11600 0.74900
KNN 3 0.00000 -0.02000 0.05125 0.03228 0.13793 0.12069 0.72740
KNN 7 0.10000 0.08200 0.04983 0.03083 0.10526 0.08737 0.72880
KNNW 1 0.00000 -0.02000 0.05746 0.03861 0.16667 0.15000 0.72100
KNNW 2 0.00000 -0.02000 0.06000 0.04120 0.15385 0.13692 0.74540
LOF 2 0.10000 0.08200 0.06157 0.04280 0.17391 0.15739 0.72400
LOF 3 0.00000 -0.02000 0.05745 0.03860 0.18182 0.16545 0.66200
LOF 100 0.00000 -0.02000 0.04714 0.02809 0.10191 0.08395 0.73140
SimplifiedLOF 1 0.00000 -0.02000 0.04123 0.02205 0.12500 0.10750 0.58700
SimplifiedLOF 2 0.00000 -0.02000 0.05315 0.03422 0.15152 0.13455 0.67960
SimplifiedLOF 100 0.00000 -0.02000 0.03945 0.02024 0.10390 0.08597 0.68680
LoOP 1 0.00000 -0.02000 0.04120 0.02202 0.12500 0.10750 0.58540
LoOP 2 0.00000 -0.02000 0.05597 0.03708 0.14925 0.13224 0.69660
LDOF 5 0.10000 0.08200 0.06098 0.04220 0.16667 0.15000 0.62980
LDOF 8 0.20000 0.18400 0.05882 0.03999 0.20000 0.18400 0.62460
LDOF 100 0.00000 -0.02000 0.03698 0.01772 0.10256 0.08462 0.66760
ODIN 9 0.10000 0.08200 0.03592 0.01664 0.10526 0.08737 0.59530
ODIN 13 0.10000 0.08200 0.04828 0.02925 0.13333 0.11600 0.64890
ODIN 97 0.00000 -0.02000 0.03949 0.02028 0.09302 0.07488 0.69700
FastABOD 3 0.10000 0.08200 0.07613 0.05765 0.23077 0.21538 0.72960
FastABOD 6 0.20000 0.18400 0.08321 0.06487 0.21053 0.19474 0.76340
FastABOD 100 0.10000 0.08200 0.06468 0.04597 0.16667 0.15000 0.76940
KDEOS 4 0.10000 0.08200 0.05458 0.03567 0.14286 0.12571 0.61700
KDEOS 5 0.10000 0.08200 0.13328 0.11595 0.18182 0.16545 0.62820
KDEOS 10 0.10000 0.08200 0.07204 0.05348 0.15385 0.13692 0.64040
LDF 2 0.10000 0.08200 0.04732 0.02827 0.10000 0.08200 0.68460
LDF 10 0.00000 -0.02000 0.03916 0.01995 0.12766 0.11021 0.64540
LDF 84 0.00000 -0.02000 0.04470 0.02559 0.10596 0.08808 0.72620
INFLO 1 0.00000 -0.02000 0.04024 0.02105 0.11321 0.09547 0.60640
INFLO 3 0.00000 -0.02000 0.06251 0.04376 0.18182 0.16545 0.67220
INFLO 100 0.00000 -0.02000 0.04267 0.02352 0.10000 0.08200 0.71120
COF 3 0.10000 0.08200 0.06093 0.04214 0.16667 0.15000 0.63180
COF 41 0.10000 0.08200 0.05237 0.03341 0.11765 0.10000 0.73900
COF 89 0.10000 0.08200 0.06266 0.04391 0.14286 0.12571 0.70700

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 8 attributes, 510 objects, 10 outliers (1.96%)

Download raw algorithm results (4.4 MB) Download raw algorithm evaluation table (40.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.20000 0.18400 0.09202 0.07386 0.23077 0.21538 0.73210
KNN 66 0.00000 -0.02000 0.06631 0.04764 0.18868 0.17245 0.75020
KNNW 1 0.30000 0.28600 0.13572 0.11844 0.33333 0.32000 0.75900
LOF 1 0.10000 0.08200 0.15342 0.13649 0.18182 0.16545 0.74120
SimplifiedLOF 1 0.20000 0.18400 0.10543 0.08754 0.22222 0.20667 0.73920
SimplifiedLOF 3 0.10000 0.08200 0.14682 0.12975 0.18750 0.17125 0.58440
LoOP 1 0.20000 0.18400 0.10536 0.08747 0.22222 0.20667 0.73750
LoOP 3 0.10000 0.08200 0.14743 0.13037 0.18750 0.17125 0.60070
LDOF 6 0.10000 0.08200 0.04141 0.02224 0.14815 0.13111 0.53740
LDOF 7 0.10000 0.08200 0.04421 0.02510 0.18182 0.16545 0.51100
LDOF 68 0.00000 -0.02000 0.05108 0.03211 0.15000 0.13300 0.65420
LDOF 98 0.00000 -0.02000 0.04555 0.02646 0.09836 0.08033 0.68360
ODIN 5 0.11765 0.10000 0.05290 0.03396 0.14815 0.13111 0.67100
ODIN 9 0.10000 0.08200 0.05473 0.03582 0.11765 0.10000 0.71650
ODIN 80 0.10000 0.08200 0.05724 0.03839 0.19048 0.17429 0.66040
ODIN 85 0.10000 0.08200 0.06000 0.04120 0.19048 0.17429 0.67050
FastABOD 4 0.20000 0.18400 0.11106 0.09328 0.25806 0.24323 0.74900
FastABOD 93 0.00000 -0.02000 0.08099 0.06261 0.20690 0.19103 0.77060
KDEOS 8 0.10000 0.08200 0.05172 0.03276 0.13636 0.11909 0.61560
KDEOS 14 0.10000 0.08200 0.07889 0.06047 0.25000 0.23500 0.66920
KDEOS 15 0.10000 0.08200 0.09032 0.07213 0.20690 0.19103 0.67480
KDEOS 19 0.10000 0.08200 0.14787 0.13082 0.18182 0.16545 0.67020
LDF 1 0.10000 0.08200 0.13980 0.12260 0.18182 0.16545 0.69380
LDF 92 0.00000 -0.02000 0.05884 0.04002 0.12903 0.11161 0.74260
INFLO 1 0.20000 0.18400 0.15598 0.13910 0.25000 0.23500 0.59310
INFLO 100 0.00000 -0.02000 0.05550 0.03661 0.12766 0.11021 0.74180
COF 1 0.20000 0.18400 0.10542 0.08753 0.22222 0.20667 0.73910
COF 16 0.10000 0.08200 0.12232 0.10477 0.26087 0.24609 0.75600
COF 18 0.10000 0.08200 0.11979 0.10219 0.23077 0.21538 0.77420
COF 19 0.10000 0.08200 0.16824 0.15160 0.22222 0.20667 0.76480

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO