Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Pima (2% of outliers version#05)

The data set contains medical data on diabetes. Patients suffering from diabetes were considered outliers.

Download all data set variants used (694.8 kB). You can also access the original data. (pima-indians-diabetes.data)

Normalized, without duplicates

This version contains 8 attributes, 510 objects, 10 outliers (1.96%)

Download raw algorithm results (4.5 MB) Download raw algorithm evaluation table (40.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.10000 0.08200 0.07577 0.05728 0.15385 0.13692 0.74800
KNN 99 0.00000 -0.02000 0.05400 0.03508 0.10526 0.08737 0.78480
KNNW 4 0.10000 0.08200 0.05127 0.03230 0.10870 0.09087 0.73360
KNNW 40 0.10000 0.08200 0.06598 0.04730 0.14286 0.12571 0.76280
KNNW 80 0.10000 0.08200 0.06768 0.04904 0.14286 0.12571 0.77440
LOF 13 0.10000 0.08200 0.03708 0.01782 0.10000 0.08200 0.64220
LOF 34 0.10000 0.08200 0.04521 0.02612 0.11765 0.10000 0.68600
LOF 99 0.10000 0.08200 0.04986 0.03085 0.10405 0.08613 0.77200
SimplifiedLOF 12 0.10000 0.08200 0.03707 0.01782 0.10526 0.08737 0.62160
SimplifiedLOF 45 0.10000 0.08200 0.04479 0.02569 0.12500 0.10750 0.62420
SimplifiedLOF 47 0.10000 0.08200 0.04587 0.02679 0.12500 0.10750 0.63400
SimplifiedLOF 100 0.10000 0.08200 0.04317 0.02403 0.10000 0.08200 0.69680
LoOP 20 0.10000 0.08200 0.03798 0.01874 0.10000 0.08200 0.60930
LoOP 47 0.10000 0.08200 0.04207 0.02291 0.11111 0.09333 0.64010
LoOP 98 0.10000 0.08200 0.04489 0.02579 0.11111 0.09333 0.67500
LoOP 99 0.10000 0.08200 0.04351 0.02438 0.10526 0.08737 0.67680
LDOF 3 0.10000 0.08200 0.04958 0.03057 0.14286 0.12571 0.55420
LDOF 76 0.00000 -0.02000 0.03891 0.01969 0.09434 0.07623 0.65240
ODIN 2 0.05195 0.03299 0.03612 0.01685 0.09195 0.07379 0.65290
ODIN 19 0.00000 -0.02000 0.04117 0.02199 0.12245 0.10490 0.64360
ODIN 83 0.00000 -0.02000 0.04516 0.02606 0.09615 0.07808 0.73560
ODIN 98 0.00000 -0.02000 0.04333 0.02420 0.10000 0.08200 0.74150
FastABOD 3 0.00000 -0.02000 0.04397 0.02485 0.11189 0.09413 0.74740
FastABOD 52 0.00000 -0.02000 0.06184 0.04308 0.16216 0.14541 0.78260
FastABOD 100 0.00000 -0.02000 0.06297 0.04423 0.15789 0.14105 0.79100
KDEOS 2 0.10000 0.08200 0.07490 0.05640 0.16667 0.15000 0.52450
KDEOS 83 0.00000 -0.02000 0.03922 0.02000 0.09524 0.07714 0.64340
LDF 4 0.10000 0.08200 0.04738 0.02833 0.13333 0.11600 0.58080
LDF 12 0.10000 0.08200 0.06302 0.04428 0.15385 0.13692 0.66220
LDF 21 0.10000 0.08200 0.06601 0.04733 0.15385 0.13692 0.70520
LDF 100 0.10000 0.08200 0.05409 0.03517 0.11111 0.09333 0.77900
INFLO 19 0.10000 0.08200 0.03802 0.01878 0.10000 0.08200 0.56700
INFLO 24 0.10000 0.08200 0.04181 0.02265 0.10526 0.08737 0.57980
INFLO 50 0.10000 0.08200 0.04468 0.02557 0.10526 0.08737 0.67160
INFLO 100 0.00000 -0.02000 0.04427 0.02515 0.09615 0.07808 0.73480
COF 88 0.10000 0.08200 0.08309 0.06476 0.25000 0.23500 0.73500
COF 91 0.20000 0.18400 0.09357 0.07544 0.23077 0.21538 0.76440
COF 95 0.20000 0.18400 0.09815 0.08011 0.23077 0.21538 0.76140
COF 100 0.20000 0.18400 0.09057 0.07238 0.22222 0.20667 0.77400

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 8 attributes, 510 objects, 10 outliers (1.96%)

Download raw algorithm results (4.4 MB) Download raw algorithm evaluation table (41.0 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.10000 0.08200 0.05702 0.03816 0.13333 0.11600 0.65950
KNN 31 0.00000 -0.02000 0.04237 0.02321 0.11650 0.09883 0.67180
KNNW 1 0.10000 0.08200 0.05641 0.03754 0.14286 0.12571 0.59610
KNNW 2 0.10000 0.08200 0.05829 0.03946 0.14286 0.12571 0.62800
KNNW 37 0.00000 -0.02000 0.04505 0.02596 0.11215 0.09439 0.66860
LOF 1 0.10000 0.08200 0.12376 0.10624 0.18182 0.16545 0.52350
LOF 2 0.10000 0.08200 0.13536 0.11807 0.18182 0.16545 0.66820
LOF 61 0.00000 -0.02000 0.04755 0.02851 0.10619 0.08832 0.71220
SimplifiedLOF 1 0.10000 0.08200 0.05512 0.03623 0.15385 0.13692 0.52450
SimplifiedLOF 4 0.10000 0.08200 0.12854 0.11111 0.18182 0.16545 0.56120
SimplifiedLOF 5 0.10000 0.08200 0.08643 0.06816 0.19048 0.17429 0.56100
SimplifiedLOF 24 0.10000 0.08200 0.06138 0.04261 0.15385 0.13692 0.69460
LoOP 5 0.20000 0.18400 0.13963 0.12242 0.21053 0.19474 0.55110
LoOP 35 0.10000 0.08200 0.06346 0.04473 0.17021 0.15362 0.70490
LDOF 5 0.20000 0.18400 0.05666 0.03779 0.21053 0.19474 0.61920
LDOF 24 0.00000 -0.02000 0.05904 0.04022 0.16667 0.15000 0.73320
LDOF 34 0.00000 -0.02000 0.05883 0.04001 0.15094 0.13396 0.73620
ODIN 7 0.10000 0.08200 0.03559 0.01630 0.10000 0.08200 0.59990
ODIN 24 0.10000 0.08200 0.05415 0.03523 0.11765 0.10000 0.68650
ODIN 41 0.10000 0.08200 0.06103 0.04225 0.17391 0.15739 0.67780
ODIN 47 0.06667 0.04800 0.05987 0.04107 0.18182 0.16545 0.66890
FastABOD 3 0.00000 -0.02000 0.05117 0.03220 0.13514 0.11784 0.65980
FastABOD 4 0.00000 -0.02000 0.04870 0.02967 0.14493 0.12783 0.68400
KDEOS 11 0.10000 0.08200 0.04176 0.02260 0.12903 0.11161 0.59240
KDEOS 15 0.10000 0.08200 0.06072 0.04194 0.17391 0.15739 0.59360
KDEOS 47 0.00000 -0.02000 0.03202 0.01266 0.07821 0.05978 0.64060
LDF 1 0.10000 0.08200 0.11932 0.10171 0.18182 0.16545 0.51230
LDF 2 0.10000 0.08200 0.13269 0.11535 0.18182 0.16545 0.57960
LDF 16 0.10000 0.08200 0.07614 0.05767 0.21429 0.19857 0.69400
LDF 55 0.00000 -0.02000 0.04910 0.03008 0.11538 0.09769 0.71760
INFLO 5 0.20000 0.18400 0.07725 0.05880 0.23529 0.22000 0.42580
INFLO 6 0.10000 0.08200 0.13630 0.11902 0.19048 0.17429 0.48500
INFLO 31 0.10000 0.08200 0.06745 0.04880 0.18182 0.16545 0.74300
COF 1 0.10000 0.08200 0.05516 0.03626 0.15385 0.13692 0.52450
COF 3 0.10000 0.08200 0.11988 0.10227 0.18182 0.16545 0.51940
COF 24 0.10000 0.08200 0.13640 0.11913 0.18182 0.16545 0.62500
COF 62 0.10000 0.08200 0.05187 0.03290 0.11765 0.10000 0.72160

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO