Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Pima (5% of outliers version#09)

The data set contains medical data on diabetes. Patients suffering from diabetes were considered outliers.

Download all data set variants used (694.8 kB). You can also access the original data. (pima-indians-diabetes.data)

Normalized, without duplicates

This version contains 8 attributes, 526 objects, 26 outliers (4.94%)

Download raw algorithm results (4.6 MB) Download raw algorithm evaluation table (44.5 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.19231 0.15031 0.16627 0.12292 0.22857 0.18846 0.64231
KNN 29 0.19231 0.15031 0.17811 0.13537 0.27778 0.24022 0.70519
KNN 53 0.19231 0.15031 0.18310 0.14062 0.27778 0.24022 0.71485
KNN 87 0.19231 0.15031 0.17744 0.13467 0.25000 0.21100 0.72869
KNNW 2 0.19231 0.15031 0.16694 0.12362 0.24719 0.20804 0.64054
KNNW 40 0.19231 0.15031 0.17752 0.13475 0.28571 0.24857 0.69354
KNNW 66 0.19231 0.15031 0.18582 0.14349 0.28571 0.24857 0.70423
KNNW 100 0.19231 0.15031 0.18168 0.13913 0.27778 0.24022 0.71192
LOF 4 0.15385 0.10985 0.10644 0.05998 0.17778 0.13502 0.52685
LOF 14 0.15385 0.10985 0.13033 0.08510 0.22222 0.18178 0.55346
LOF 96 0.15385 0.10985 0.13220 0.08707 0.20513 0.16379 0.67892
LOF 98 0.15385 0.10985 0.12897 0.08367 0.20513 0.16379 0.68015
SimplifiedLOF 4 0.15385 0.10985 0.08346 0.03580 0.17021 0.12706 0.51777
SimplifiedLOF 21 0.15385 0.10985 0.12964 0.08438 0.21622 0.17546 0.51177
SimplifiedLOF 38 0.15385 0.10985 0.11784 0.07197 0.22857 0.18846 0.53085
SimplifiedLOF 99 0.15385 0.10985 0.10780 0.06141 0.20513 0.16379 0.59546
LoOP 21 0.19231 0.15031 0.10609 0.05960 0.20690 0.16566 0.50738
LoOP 26 0.19231 0.15031 0.12977 0.08452 0.22727 0.18709 0.52077
LoOP 27 0.19231 0.15031 0.11170 0.06551 0.23256 0.19265 0.52215
LoOP 99 0.15385 0.10985 0.11041 0.06415 0.20513 0.16379 0.58542
LDOF 2 0.11538 0.06938 0.08313 0.03545 0.15962 0.11592 0.64038
LDOF 11 0.19231 0.15031 0.07462 0.02650 0.19231 0.15031 0.50085
LDOF 21 0.19231 0.15031 0.09545 0.04842 0.23256 0.19265 0.52169
LDOF 35 0.19231 0.15031 0.09988 0.05307 0.23256 0.19265 0.53631
ODIN 42 0.18462 0.14222 0.13845 0.09365 0.21818 0.17753 0.58373
ODIN 43 0.19780 0.15609 0.13890 0.09413 0.21818 0.17753 0.58477
ODIN 60 0.19231 0.15031 0.15023 0.10604 0.21622 0.17546 0.60188
ODIN 98 0.19231 0.15031 0.13757 0.09272 0.20000 0.15840 0.63119
FastABOD 4 0.23077 0.19077 0.20090 0.15934 0.28571 0.24857 0.67054
FastABOD 5 0.23077 0.19077 0.19921 0.15757 0.30000 0.26360 0.68577
FastABOD 61 0.23077 0.19077 0.20487 0.16352 0.28571 0.24857 0.71662
FastABOD 94 0.23077 0.19077 0.19660 0.15483 0.27692 0.23932 0.72431
KDEOS 2 0.07692 0.02892 0.05935 0.01044 0.12698 0.08159 0.53608
KDEOS 3 0.03846 -0.01154 0.05655 0.00750 0.11662 0.07068 0.53985
KDEOS 25 0.00000 -0.05200 0.05113 0.00179 0.13208 0.08694 0.47092
LDF 11 0.15385 0.10985 0.15847 0.11471 0.20513 0.16379 0.59946
LDF 13 0.15385 0.10985 0.15091 0.10676 0.23529 0.19553 0.59569
LDF 69 0.19231 0.15031 0.14714 0.10279 0.20000 0.15840 0.70454
LDF 99 0.19231 0.15031 0.15572 0.11181 0.20833 0.16717 0.72485
INFLO 12 0.19231 0.15031 0.11480 0.06877 0.20408 0.16269 0.48335
INFLO 19 0.19231 0.15031 0.13313 0.08806 0.23256 0.19265 0.51038
INFLO 26 0.19231 0.15031 0.12053 0.07479 0.24390 0.20459 0.55085
INFLO 99 0.15385 0.10985 0.11992 0.07415 0.21053 0.16947 0.60354
COF 75 0.23077 0.19077 0.15673 0.11288 0.31579 0.28021 0.65477
COF 89 0.23077 0.19077 0.19813 0.15643 0.30000 0.26360 0.69908
COF 98 0.26923 0.23123 0.18305 0.14057 0.31579 0.28021 0.72446
COF 100 0.26923 0.23123 0.19460 0.15272 0.31579 0.28021 0.73454

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 8 attributes, 526 objects, 26 outliers (4.94%)

Download raw algorithm results (4.6 MB) Download raw algorithm evaluation table (46.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.26923 0.23123 0.15609 0.11221 0.26923 0.23123 0.64554
KNN 5 0.26923 0.23123 0.15925 0.11553 0.28000 0.24256 0.64765
KNN 12 0.26923 0.23123 0.14895 0.10469 0.30435 0.26817 0.64250
KNNW 5 0.26923 0.23123 0.15284 0.10878 0.28571 0.24857 0.63923
KNNW 8 0.26923 0.23123 0.15870 0.11495 0.28571 0.24857 0.64062
KNNW 20 0.26923 0.23123 0.15329 0.10926 0.29787 0.26136 0.64185
KNNW 30 0.26923 0.23123 0.14649 0.10211 0.30435 0.26817 0.63746
LOF 87 0.19231 0.15031 0.13933 0.09458 0.23377 0.19392 0.68608
LOF 97 0.26923 0.23123 0.14223 0.09762 0.26923 0.23123 0.68400
LOF 98 0.26923 0.23123 0.14235 0.09776 0.26923 0.23123 0.68462
SimplifiedLOF 28 0.23077 0.19077 0.10951 0.06321 0.23077 0.19077 0.59738
SimplifiedLOF 97 0.19231 0.15031 0.13161 0.08646 0.24242 0.20303 0.63269
SimplifiedLOF 98 0.19231 0.15031 0.13241 0.08729 0.24615 0.20695 0.63269
LoOP 32 0.19231 0.15031 0.10120 0.05446 0.21429 0.17343 0.59696
LoOP 33 0.15385 0.10985 0.10233 0.05565 0.22222 0.18178 0.59277
LoOP 95 0.19231 0.15031 0.13241 0.08730 0.21739 0.17670 0.62662
LoOP 97 0.19231 0.15031 0.13013 0.08490 0.22222 0.18178 0.62915
LDOF 51 0.23077 0.19077 0.11511 0.06909 0.23529 0.19553 0.59623
LDOF 62 0.23077 0.19077 0.11971 0.07394 0.25000 0.21100 0.59038
LDOF 89 0.19231 0.15031 0.13149 0.08633 0.23333 0.19347 0.60023
LDOF 97 0.23077 0.19077 0.12644 0.08102 0.23529 0.19553 0.60362
ODIN 71 0.21154 0.17054 0.13452 0.08952 0.22642 0.18619 0.61242
ODIN 72 0.21154 0.17054 0.13537 0.09041 0.22642 0.18619 0.61635
ODIN 100 0.16783 0.12456 0.11794 0.07207 0.21154 0.17054 0.66677
FastABOD 3 0.26923 0.23123 0.15655 0.11269 0.29091 0.25404 0.65892
FastABOD 4 0.26923 0.23123 0.16673 0.12340 0.31111 0.27529 0.67685
FastABOD 5 0.26923 0.23123 0.17053 0.12739 0.32558 0.29051 0.67154
KDEOS 17 0.07692 0.02892 0.05321 0.00398 0.10496 0.05841 0.49315
KDEOS 21 0.07692 0.02892 0.06162 0.01283 0.11987 0.07411 0.52108
KDEOS 87 0.00000 -0.05200 0.05852 0.00957 0.15172 0.10761 0.55538
KDEOS 96 0.00000 -0.05200 0.05943 0.01052 0.14286 0.09829 0.55823
LDF 78 0.26923 0.23123 0.14399 0.09948 0.26923 0.23123 0.69400
LDF 79 0.26923 0.23123 0.14418 0.09967 0.26923 0.23123 0.69423
LDF 100 0.26923 0.23123 0.14433 0.09984 0.29167 0.25483 0.68846
INFLO 85 0.23077 0.19077 0.13545 0.09050 0.23077 0.19077 0.61992
INFLO 97 0.23077 0.19077 0.14220 0.09760 0.24000 0.20048 0.68362
INFLO 99 0.23077 0.19077 0.13761 0.09276 0.24615 0.20695 0.62615
COF 85 0.30769 0.27169 0.18060 0.13800 0.30769 0.27169 0.68377
COF 88 0.30769 0.27169 0.19285 0.15088 0.32653 0.29151 0.68769
COF 89 0.30769 0.27169 0.19858 0.15691 0.32653 0.29151 0.69446
COF 100 0.23077 0.19077 0.17961 0.13695 0.30000 0.26360 0.70977

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO