Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Pima (5% of outliers version#04)

The data set contains medical data on diabetes. Patients suffering from diabetes were considered outliers.

Download all data set variants used (694.8 kB). You can also access the original data. (pima-indians-diabetes.data)

Normalized, without duplicates

This version contains 8 attributes, 526 objects, 26 outliers (4.94%)

Download raw algorithm results (4.6 MB) Download raw algorithm evaluation table (47.2 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.15385 0.10985 0.14823 0.10393 0.27907 0.24158 0.75469
KNN 3 0.19231 0.15031 0.16619 0.12283 0.27907 0.24158 0.75954
KNNW 3 0.11538 0.06938 0.14472 0.10025 0.30000 0.26360 0.73962
KNNW 7 0.15385 0.10985 0.15161 0.10749 0.28571 0.24857 0.75023
KNNW 9 0.19231 0.15031 0.15075 0.10659 0.28205 0.24472 0.74631
KNNW 14 0.15385 0.10985 0.15380 0.10980 0.25882 0.22028 0.74585
LOF 7 0.11538 0.06938 0.12594 0.08049 0.26168 0.22329 0.74446
LOF 15 0.15385 0.10985 0.13573 0.09078 0.24779 0.20867 0.75377
LOF 26 0.19231 0.15031 0.12700 0.08160 0.22222 0.18178 0.74200
SimplifiedLOF 14 0.11538 0.06938 0.11473 0.06870 0.23762 0.19798 0.72431
SimplifiedLOF 25 0.15385 0.10985 0.11865 0.07282 0.22400 0.18365 0.71869
SimplifiedLOF 31 0.11538 0.06938 0.12152 0.07583 0.22556 0.18529 0.72538
SimplifiedLOF 77 0.15385 0.10985 0.12354 0.07796 0.22222 0.18178 0.72277
LoOP 21 0.19231 0.15031 0.11818 0.07233 0.21818 0.17753 0.71546
LoOP 39 0.15385 0.10985 0.12163 0.07596 0.20690 0.16566 0.72204
LoOP 73 0.15385 0.10985 0.12603 0.08059 0.21818 0.17753 0.72115
LoOP 79 0.15385 0.10985 0.12140 0.07572 0.23077 0.19077 0.71750
LDOF 12 0.15385 0.10985 0.09596 0.04895 0.18462 0.14222 0.66592
LDOF 51 0.15385 0.10985 0.10822 0.06185 0.21277 0.17183 0.69215
LDOF 67 0.15385 0.10985 0.10877 0.06243 0.18824 0.14602 0.69600
LDOF 69 0.15385 0.10985 0.11031 0.06405 0.18868 0.14649 0.69377
ODIN 17 0.12308 0.07748 0.11515 0.06914 0.21705 0.17634 0.72812
ODIN 41 0.15385 0.10985 0.13560 0.09065 0.24074 0.20126 0.71673
ODIN 49 0.15385 0.10985 0.13023 0.08501 0.25243 0.21355 0.70827
ODIN 73 0.19231 0.15031 0.12807 0.08273 0.23729 0.19763 0.70012
FastABOD 7 0.23077 0.19077 0.16016 0.11649 0.26506 0.22684 0.75492
FastABOD 81 0.19231 0.15031 0.16990 0.12674 0.32787 0.29292 0.76769
FastABOD 100 0.19231 0.15031 0.16917 0.12597 0.32787 0.29292 0.76892
KDEOS 7 0.07692 0.02892 0.05846 0.00950 0.12069 0.07497 0.56646
KDEOS 80 0.00000 -0.05200 0.08239 0.03468 0.18065 0.13804 0.68538
KDEOS 81 0.00000 -0.05200 0.08325 0.03558 0.17333 0.13035 0.68669
KDEOS 83 0.00000 -0.05200 0.08275 0.03505 0.16949 0.12631 0.68677
LDF 7 0.19231 0.15031 0.14647 0.10208 0.24000 0.20048 0.75492
LDF 8 0.11538 0.06938 0.14908 0.10484 0.26316 0.22484 0.75346
LDF 11 0.15385 0.10985 0.14593 0.10152 0.25743 0.21881 0.76608
LDF 16 0.11538 0.06938 0.15030 0.10612 0.23214 0.19221 0.76277
INFLO 15 0.15385 0.10985 0.10858 0.06222 0.19802 0.15632 0.71446
INFLO 41 0.15385 0.10985 0.12531 0.07983 0.20952 0.16842 0.73300
INFLO 67 0.15385 0.10985 0.12785 0.08250 0.20513 0.16379 0.71138
INFLO 89 0.15385 0.10985 0.12146 0.07577 0.22222 0.18178 0.71238
COF 26 0.23077 0.19077 0.22423 0.18389 0.29412 0.25741 0.77192
COF 33 0.26923 0.23123 0.21319 0.17228 0.32727 0.29229 0.77808
COF 34 0.26923 0.23123 0.21114 0.17012 0.31579 0.28021 0.77900

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 8 attributes, 526 objects, 26 outliers (4.94%)

Download raw algorithm results (4.6 MB) Download raw algorithm evaluation table (47.0 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.19231 0.15031 0.12990 0.08465 0.25000 0.21100 0.69565
KNN 2 0.19231 0.15031 0.13148 0.08632 0.23256 0.19265 0.70854
KNN 51 0.11538 0.06938 0.12117 0.07547 0.22727 0.18709 0.75231
KNNW 1 0.19231 0.15031 0.14614 0.10174 0.24390 0.20459 0.71262
KNNW 3 0.19231 0.15031 0.14310 0.09854 0.27027 0.23232 0.71500
KNNW 95 0.11538 0.06938 0.12066 0.07494 0.22785 0.18770 0.75069
LOF 2 0.11538 0.06938 0.14371 0.09919 0.15094 0.10679 0.59354
LOF 23 0.19231 0.15031 0.12464 0.07912 0.23529 0.19553 0.66800
LOF 24 0.19231 0.15031 0.12337 0.07778 0.24324 0.20389 0.67000
LOF 90 0.15385 0.10985 0.12291 0.07730 0.22807 0.18793 0.73492
SimplifiedLOF 3 0.11538 0.06938 0.11959 0.07381 0.13793 0.09310 0.50854
SimplifiedLOF 30 0.15385 0.10985 0.11903 0.07322 0.23810 0.19848 0.64862
SimplifiedLOF 39 0.19231 0.15031 0.11713 0.07122 0.22989 0.18984 0.64877
SimplifiedLOF 100 0.15385 0.10985 0.11396 0.06789 0.20370 0.16230 0.69254
LoOP 1 0.15385 0.10985 0.10293 0.05628 0.16000 0.11632 0.61523
LoOP 3 0.11538 0.06938 0.13134 0.08617 0.14286 0.09829 0.49646
LoOP 47 0.15385 0.10985 0.11574 0.06976 0.25316 0.21433 0.65304
LoOP 100 0.11538 0.06938 0.11536 0.06936 0.20513 0.16379 0.68562
LDOF 46 0.23077 0.19077 0.11751 0.07162 0.23077 0.19077 0.64169
LDOF 78 0.23077 0.19077 0.12940 0.08413 0.26471 0.22647 0.64554
LDOF 80 0.23077 0.19077 0.13032 0.08510 0.26471 0.22647 0.64869
LDOF 100 0.15385 0.10985 0.11820 0.07235 0.23529 0.19553 0.65992
ODIN 88 0.22115 0.18065 0.15362 0.10961 0.22642 0.18619 0.68604
ODIN 93 0.23077 0.19077 0.12586 0.08040 0.23529 0.19553 0.69108
ODIN 97 0.23077 0.19077 0.12739 0.08202 0.24490 0.20563 0.68673
ODIN 100 0.23077 0.19077 0.12815 0.08281 0.24490 0.20563 0.69131
FastABOD 4 0.19231 0.15031 0.13118 0.08600 0.22222 0.18178 0.72223
FastABOD 36 0.19231 0.15031 0.13816 0.09334 0.21858 0.17795 0.76762
FastABOD 83 0.19231 0.15031 0.13522 0.09026 0.22346 0.18308 0.77246
FastABOD 100 0.19231 0.15031 0.13497 0.08999 0.22099 0.18049 0.77292
KDEOS 4 0.11538 0.06938 0.05801 0.00903 0.11538 0.06938 0.49462
KDEOS 11 0.11538 0.06938 0.08486 0.03727 0.18421 0.14179 0.54223
KDEOS 21 0.07692 0.02892 0.10016 0.05337 0.13953 0.09479 0.59277
KDEOS 100 0.03846 -0.01154 0.06560 0.01701 0.16071 0.11707 0.61462
LDF 1 0.11538 0.06938 0.14735 0.10301 0.15385 0.10985 0.60404
LDF 16 0.23077 0.19077 0.13946 0.09471 0.29508 0.25843 0.68000
LDF 17 0.23077 0.19077 0.14511 0.10065 0.30508 0.26895 0.68092
LDF 89 0.15385 0.10985 0.12625 0.08081 0.22430 0.18396 0.74554
INFLO 1 0.11538 0.06938 0.13387 0.08883 0.14815 0.10385 0.52177
INFLO 35 0.11538 0.06938 0.11981 0.07404 0.24691 0.20775 0.67446
INFLO 84 0.15385 0.10985 0.13061 0.08540 0.22857 0.18846 0.75146
INFLO 87 0.19231 0.15031 0.13014 0.08491 0.22535 0.18507 0.72950
COF 39 0.15385 0.10985 0.11291 0.06679 0.26667 0.22853 0.64235
COF 50 0.23077 0.19077 0.10919 0.06287 0.23077 0.19077 0.67135
COF 76 0.19231 0.15031 0.12617 0.08073 0.23810 0.19848 0.72700
COF 99 0.19231 0.15031 0.13816 0.09334 0.23810 0.19848 0.70969

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO