Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Pima (10% of outliers version#03)

The data set contains medical data on diabetes. Patients suffering from diabetes were considered outliers.

Download all data set variants used (694.8 kB). You can also access the original data. (pima-indians-diabetes.data)

Normalized, without duplicates

This version contains 8 attributes, 555 objects, 55 outliers (9.91%)

Download raw algorithm results (4.9 MB) Download raw algorithm evaluation table (52.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.25455 0.17255 0.24087 0.15737 0.38503 0.31738 0.77105
KNN 2 0.25455 0.17255 0.23723 0.15332 0.39196 0.32508 0.77340
KNNW 1 0.27273 0.19273 0.23673 0.15277 0.37000 0.30070 0.74885
KNNW 3 0.25455 0.17255 0.23989 0.15628 0.40462 0.33913 0.77004
KNNW 4 0.25455 0.17255 0.23862 0.15487 0.39766 0.33140 0.77131
LOF 2 0.27273 0.19273 0.19147 0.10253 0.27273 0.19273 0.63211
LOF 99 0.20000 0.11200 0.21826 0.13227 0.34538 0.27337 0.75971
LOF 100 0.20000 0.11200 0.21859 0.13264 0.34538 0.27337 0.75989
SimplifiedLOF 7 0.25455 0.17255 0.17463 0.08384 0.25926 0.17778 0.64313
SimplifiedLOF 67 0.20000 0.11200 0.19962 0.11158 0.30622 0.22990 0.68785
SimplifiedLOF 81 0.20000 0.11200 0.19163 0.10271 0.31683 0.24168 0.69160
SimplifiedLOF 100 0.18182 0.09182 0.19881 0.11068 0.31193 0.23624 0.70822
LoOP 7 0.25455 0.17255 0.17331 0.08238 0.26415 0.18321 0.63378
LoOP 81 0.20000 0.11200 0.19125 0.10228 0.30769 0.23154 0.68513
LoOP 99 0.20000 0.11200 0.20533 0.11792 0.30415 0.22760 0.69825
LoOP 100 0.18182 0.09182 0.19671 0.10835 0.30415 0.22760 0.69851
LDOF 5 0.25455 0.17255 0.19169 0.10277 0.27879 0.19945 0.65593
LDOF 10 0.18182 0.09182 0.19825 0.11006 0.29932 0.22224 0.64313
LDOF 64 0.20000 0.11200 0.20314 0.11548 0.27615 0.19653 0.66669
LDOF 99 0.20000 0.11200 0.19830 0.11012 0.27885 0.19952 0.67760
ODIN 35 0.23636 0.15236 0.17601 0.08537 0.25175 0.16944 0.65633
ODIN 100 0.20000 0.11200 0.20133 0.11348 0.31159 0.23587 0.72353
FastABOD 42 0.30909 0.23309 0.28810 0.20979 0.45000 0.38950 0.80036
FastABOD 64 0.30909 0.23309 0.29868 0.22153 0.45860 0.39904 0.80244
FastABOD 88 0.29091 0.21291 0.30046 0.22351 0.45000 0.38950 0.80411
FastABOD 99 0.30909 0.23309 0.29926 0.22217 0.45283 0.39264 0.80469
KDEOS 5 0.12727 0.03127 0.15702 0.06429 0.26182 0.18062 0.64389
KDEOS 15 0.18182 0.09182 0.17639 0.08580 0.23529 0.15118 0.62291
LDF 2 0.25455 0.17255 0.18233 0.09239 0.26923 0.18885 0.61676
LDF 83 0.20000 0.11200 0.23350 0.14919 0.36792 0.29840 0.77407
LDF 89 0.20000 0.11200 0.23080 0.14618 0.37615 0.30752 0.77509
LDF 91 0.20000 0.11200 0.23100 0.14641 0.37559 0.30690 0.77549
INFLO 2 0.18182 0.09182 0.20259 0.11487 0.33113 0.25755 0.64113
INFLO 5 0.29091 0.21291 0.18821 0.09891 0.29126 0.21330 0.63345
INFLO 100 0.20000 0.11200 0.20846 0.12139 0.31418 0.23874 0.72004
COF 60 0.21818 0.13218 0.22984 0.14512 0.35714 0.28643 0.72491
COF 74 0.27273 0.19273 0.23560 0.15151 0.33696 0.26402 0.74975
COF 89 0.25455 0.17255 0.25688 0.17513 0.33929 0.26661 0.77215
COF 100 0.21818 0.13218 0.24729 0.16449 0.35193 0.28064 0.77953

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 8 attributes, 555 objects, 55 outliers (9.91%)

Download raw algorithm results (4.8 MB) Download raw algorithm evaluation table (52.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 11 0.32727 0.25327 0.23959 0.15595 0.37908 0.31078 0.73191
KNN 13 0.30909 0.23309 0.23803 0.15421 0.38202 0.31404 0.73465
KNN 30 0.25455 0.17255 0.22182 0.13622 0.38710 0.31968 0.72716
KNNW 2 0.29091 0.21291 0.22048 0.13473 0.32432 0.25000 0.70080
KNNW 15 0.29091 0.21291 0.23447 0.15026 0.37594 0.30729 0.72916
KNNW 26 0.29091 0.21291 0.23352 0.14920 0.39130 0.32435 0.73225
KNNW 86 0.25455 0.17255 0.22830 0.14341 0.38028 0.31211 0.73309
LOF 23 0.23636 0.15236 0.18734 0.09795 0.28378 0.20500 0.67251
LOF 75 0.18182 0.09182 0.20152 0.11369 0.35714 0.28643 0.72669
LOF 89 0.20000 0.11200 0.20477 0.11729 0.34118 0.26871 0.72924
LOF 96 0.21818 0.13218 0.20502 0.11757 0.34831 0.27663 0.72913
SimplifiedLOF 33 0.23636 0.15236 0.18329 0.09345 0.27673 0.19717 0.67313
SimplifiedLOF 95 0.18182 0.09182 0.19215 0.10329 0.31056 0.23472 0.69531
SimplifiedLOF 100 0.18182 0.09182 0.19168 0.10276 0.31325 0.23771 0.69909
LoOP 44 0.25455 0.17255 0.18778 0.09844 0.28767 0.20932 0.68127
LoOP 45 0.23636 0.15236 0.18944 0.10028 0.28966 0.21152 0.68431
LoOP 99 0.18182 0.09182 0.18667 0.09720 0.31847 0.24350 0.69495
LDOF 45 0.23636 0.15236 0.19435 0.10573 0.30918 0.23319 0.69400
LDOF 74 0.27273 0.19273 0.19684 0.10850 0.29412 0.21647 0.68175
LDOF 75 0.27273 0.19273 0.19772 0.10946 0.29630 0.21889 0.68396
LDOF 95 0.23636 0.15236 0.19385 0.10517 0.33987 0.26725 0.68735
ODIN 36 0.25455 0.17255 0.17490 0.08414 0.26761 0.18704 0.65295
ODIN 48 0.23409 0.14984 0.19529 0.10678 0.27419 0.19435 0.65440
ODIN 74 0.21212 0.12545 0.17765 0.08719 0.28916 0.21096 0.65571
ODIN 88 0.20000 0.11200 0.19046 0.10141 0.28125 0.20219 0.66571
FastABOD 3 0.30909 0.23309 0.20976 0.12283 0.32353 0.24912 0.71745
FastABOD 87 0.30909 0.23309 0.24736 0.16457 0.39189 0.32500 0.74589
FastABOD 93 0.30909 0.23309 0.24767 0.16491 0.39189 0.32500 0.74600
FastABOD 100 0.30909 0.23309 0.24751 0.16474 0.39189 0.32500 0.74636
KDEOS 6 0.23636 0.15236 0.17713 0.08662 0.25197 0.16969 0.60545
KDEOS 92 0.16364 0.07164 0.16338 0.07135 0.26601 0.18527 0.64767
KDEOS 97 0.18182 0.09182 0.16162 0.06940 0.25641 0.17462 0.64800
LDF 17 0.25455 0.17255 0.18799 0.09867 0.28205 0.20308 0.66160
LDF 75 0.21818 0.13218 0.21043 0.12358 0.36471 0.29482 0.74073
LDF 81 0.21818 0.13218 0.21062 0.12379 0.37126 0.30210 0.73975
LDF 93 0.21818 0.13218 0.21164 0.12492 0.34872 0.27708 0.73742
INFLO 22 0.21818 0.13218 0.18796 0.09864 0.29885 0.22172 0.66338
INFLO 61 0.21818 0.13218 0.20357 0.11596 0.32667 0.25260 0.73167
INFLO 94 0.21818 0.13218 0.19921 0.11112 0.34263 0.27032 0.71122
COF 86 0.20000 0.11200 0.19202 0.10315 0.28276 0.20386 0.69389
COF 90 0.20000 0.11200 0.18638 0.09688 0.29457 0.21698 0.69275
COF 94 0.20000 0.11200 0.19141 0.10246 0.27864 0.19929 0.70242
COF 100 0.23636 0.15236 0.18831 0.09903 0.28383 0.20505 0.69960

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO