Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Cardiotocography (2% of outliers version#09)

Data set related to heart diseases. It describes 3 classes: normal, suspect, or pathological. Normal patients are treated as inliers and the remaining as outliers.

Download all data set variants used (8.8 MB). You can also access the original data. (CTG.xls)

Normalized, without duplicates

This version contains 21 attributes, 1681 objects, 33 outliers (1.96%)

Download raw algorithm results (14.6 MB) Download raw algorithm evaluation table (58.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.21212 0.19634 0.12596 0.10846 0.24561 0.23051 0.74753
KNNW 1 0.15152 0.13452 0.12156 0.10397 0.21739 0.20172 0.73965
KNNW 2 0.15152 0.13452 0.12753 0.11006 0.21277 0.19700 0.75384
KNNW 3 0.18182 0.16543 0.12201 0.10443 0.19608 0.17998 0.75211
LOF 4 0.27273 0.25816 0.12272 0.10516 0.28571 0.27141 0.79746
LOF 8 0.18182 0.16543 0.09736 0.07928 0.21053 0.19472 0.80406
SimplifiedLOF 6 0.27273 0.25816 0.12568 0.10818 0.31579 0.30209 0.82574
SimplifiedLOF 8 0.24242 0.22725 0.13664 0.11935 0.27586 0.26136 0.84021
SimplifiedLOF 9 0.24242 0.22725 0.13072 0.11331 0.26415 0.24942 0.84065
LoOP 7 0.24242 0.22725 0.11566 0.09796 0.25000 0.23498 0.83789
LoOP 9 0.21212 0.19634 0.12767 0.11021 0.23529 0.21998 0.85047
LoOP 10 0.18182 0.16543 0.12939 0.11195 0.25714 0.24227 0.83947
LDOF 9 0.18182 0.16543 0.10711 0.08923 0.20690 0.19102 0.83436
LDOF 12 0.24242 0.22725 0.12934 0.11191 0.26087 0.24607 0.81998
LDOF 13 0.24242 0.22725 0.12699 0.10951 0.26667 0.25198 0.81283
ODIN 6 0.10526 0.08735 0.05613 0.03723 0.11268 0.09491 0.78322
ODIN 30 0.16970 0.15307 0.09309 0.07493 0.19178 0.17560 0.74198
ODIN 31 0.16253 0.14576 0.09066 0.07245 0.19444 0.17831 0.74594
ODIN 36 0.18182 0.16543 0.08402 0.06568 0.18182 0.16543 0.73620
FastABOD 3 0.12121 0.10362 0.09571 0.07761 0.18182 0.16543 0.78736
FastABOD 4 0.18182 0.16543 0.09497 0.07685 0.20779 0.19193 0.76751
FastABOD 6 0.15152 0.13452 0.10384 0.08590 0.17910 0.16267 0.76484
FastABOD 61 0.06061 0.04180 0.08663 0.06834 0.22222 0.20665 0.75204
KDEOS 13 0.18182 0.16543 0.11375 0.09601 0.21277 0.19700 0.83409
KDEOS 15 0.15152 0.13452 0.13117 0.11377 0.17910 0.16267 0.83363
KDEOS 16 0.15152 0.13452 0.11026 0.09244 0.17391 0.15737 0.83784
LDF 2 0.21212 0.19634 0.07941 0.06098 0.21212 0.19634 0.69774
LDF 7 0.09091 0.07271 0.11495 0.09722 0.15385 0.13690 0.71558
LDF 100 0.21212 0.19634 0.13510 0.11778 0.26923 0.25460 0.67102
INFLO 4 0.15152 0.13452 0.11784 0.10018 0.21667 0.20098 0.86586
INFLO 22 0.21212 0.19634 0.09762 0.07955 0.21538 0.19967 0.78436
INFLO 37 0.15152 0.13452 0.09098 0.07278 0.22222 0.20665 0.77492
COF 6 0.24242 0.22725 0.10838 0.09052 0.25926 0.24443 0.73899
COF 10 0.21212 0.19634 0.18879 0.17255 0.29787 0.28381 0.75386
COF 12 0.21212 0.19634 0.16385 0.14711 0.26923 0.25460 0.77036

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 1688 objects, 33 outliers (1.95%)

Download raw algorithm results (14.6 MB) Download raw algorithm evaluation table (59.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.24242 0.22732 0.19538 0.17934 0.29630 0.28226 0.80179
KNN 97 0.21212 0.19641 0.20236 0.18646 0.26506 0.25041 0.80527
KNN 100 0.21212 0.19641 0.20283 0.18694 0.26506 0.25041 0.80496
KNNW 1 0.27273 0.25823 0.18997 0.17381 0.28571 0.27147 0.78849
KNNW 2 0.24242 0.22732 0.20020 0.18425 0.32000 0.30644 0.80101
KNNW 3 0.24242 0.22732 0.20671 0.19089 0.31373 0.30004 0.80207
KNNW 4 0.24242 0.22732 0.20037 0.18443 0.30189 0.28797 0.80269
LOF 6 0.21212 0.19641 0.16730 0.15070 0.27160 0.25708 0.79247
LOF 7 0.24242 0.22732 0.16546 0.14882 0.29630 0.28226 0.79392
LOF 98 0.12121 0.10369 0.12797 0.11058 0.18750 0.17130 0.83001
SimplifiedLOF 10 0.36364 0.35095 0.21064 0.19490 0.37931 0.36693 0.82690
SimplifiedLOF 13 0.27273 0.25823 0.18847 0.17229 0.33735 0.32414 0.84010
LoOP 10 0.33333 0.32004 0.18908 0.17291 0.34375 0.33066 0.82900
LoOP 12 0.30303 0.28913 0.18171 0.16539 0.36364 0.35095 0.83873
LDOF 14 0.24242 0.22732 0.13457 0.11731 0.24242 0.22732 0.82243
LDOF 15 0.24242 0.22732 0.13267 0.11537 0.27119 0.25665 0.80959
LDOF 52 0.15152 0.13460 0.14053 0.12339 0.22047 0.20493 0.81089
ODIN 28 0.15865 0.14187 0.09100 0.07287 0.21951 0.20395 0.78486
ODIN 32 0.18538 0.16914 0.09753 0.07953 0.21622 0.20059 0.79117
ODIN 98 0.14394 0.12687 0.09004 0.07189 0.16471 0.14805 0.81117
FastABOD 5 0.21212 0.19641 0.15058 0.13365 0.26316 0.24847 0.83532
FastABOD 6 0.24242 0.22732 0.14570 0.12867 0.24658 0.23155 0.82876
FastABOD 46 0.15152 0.13460 0.15327 0.13639 0.27160 0.25708 0.83001
FastABOD 81 0.18182 0.16550 0.15549 0.13865 0.26667 0.25204 0.83261
KDEOS 32 0.15152 0.13460 0.08172 0.06341 0.16667 0.15005 0.75919
KDEOS 35 0.15152 0.13460 0.08639 0.06817 0.19608 0.18005 0.76376
KDEOS 92 0.09091 0.07278 0.09227 0.07417 0.13542 0.11818 0.79566
KDEOS 100 0.06061 0.04187 0.09007 0.07193 0.14607 0.12904 0.80049
LDF 7 0.27273 0.25823 0.23731 0.22210 0.30189 0.28797 0.76127
LDF 99 0.21212 0.19641 0.18075 0.16441 0.24096 0.22583 0.81133
INFLO 8 0.33333 0.32004 0.18251 0.16621 0.36111 0.34837 0.85757
COF 9 0.30303 0.28913 0.24891 0.23393 0.36735 0.35473 0.74642
COF 13 0.30303 0.28913 0.27814 0.26374 0.36364 0.35095 0.74566
COF 14 0.33333 0.32004 0.26595 0.25132 0.34783 0.33482 0.74334
COF 17 0.30303 0.28913 0.21850 0.20292 0.32432 0.31085 0.75814

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 1681 objects, 33 outliers (1.96%)

Download raw algorithm results (14.5 MB) Download raw algorithm evaluation table (59.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.12121 0.10362 0.07431 0.05577 0.15385 0.13690 0.77958
KNN 2 0.15152 0.13452 0.07137 0.05277 0.15625 0.13935 0.78966
KNNW 1 0.12121 0.10362 0.09155 0.07336 0.18182 0.16543 0.77382
KNNW 3 0.12121 0.10362 0.07990 0.06148 0.16327 0.14651 0.79687
LOF 7 0.24242 0.22725 0.13785 0.12059 0.25397 0.23903 0.84707
LOF 8 0.24242 0.22725 0.16545 0.14874 0.29630 0.28221 0.84992
LOF 9 0.24242 0.22725 0.15774 0.14088 0.28000 0.26558 0.85406
SimplifiedLOF 11 0.21212 0.19634 0.15514 0.13822 0.23256 0.21719 0.85617
SimplifiedLOF 17 0.21212 0.19634 0.15397 0.13703 0.24490 0.22978 0.86836
SimplifiedLOF 23 0.24242 0.22725 0.11252 0.09474 0.24242 0.22725 0.84461
LoOP 10 0.21212 0.19634 0.14370 0.12655 0.21622 0.20052 0.84838
LoOP 15 0.21212 0.19634 0.15077 0.13376 0.23729 0.22202 0.86645
LoOP 16 0.21212 0.19634 0.14902 0.13198 0.24561 0.23051 0.86628
LDOF 16 0.18182 0.16543 0.13181 0.11443 0.21053 0.19472 0.82745
LDOF 17 0.18182 0.16543 0.13952 0.12229 0.21739 0.20172 0.82739
LDOF 19 0.18182 0.16543 0.13363 0.11629 0.22857 0.21312 0.81923
LDOF 20 0.21212 0.19634 0.13415 0.11681 0.22222 0.20665 0.82447
ODIN 13 0.16667 0.14998 0.08600 0.06770 0.17143 0.15484 0.80443
ODIN 25 0.19835 0.18229 0.12075 0.10315 0.23077 0.21537 0.76487
ODIN 26 0.18182 0.16543 0.11888 0.10124 0.23529 0.21998 0.76163
ODIN 41 0.21886 0.20321 0.10127 0.08328 0.22581 0.21030 0.74702
FastABOD 3 0.12121 0.10362 0.07339 0.05483 0.14583 0.12873 0.79268
FastABOD 5 0.12121 0.10362 0.08743 0.06915 0.17000 0.15338 0.81324
FastABOD 18 0.12121 0.10362 0.08394 0.06560 0.15556 0.13865 0.81546
KDEOS 25 0.03030 0.01089 0.05781 0.03895 0.11173 0.09394 0.82044
KDEOS 66 0.15152 0.13452 0.13528 0.11797 0.20000 0.18398 0.80689
KDEOS 87 0.18182 0.16543 0.14385 0.12670 0.18462 0.16829 0.79755
KDEOS 97 0.18182 0.16543 0.14752 0.13045 0.19231 0.17613 0.78972
LDF 3 0.18182 0.16543 0.11191 0.09413 0.20472 0.18880 0.78183
LDF 8 0.12121 0.10362 0.07961 0.06118 0.16901 0.15237 0.79229
INFLO 8 0.21212 0.19634 0.14545 0.12834 0.25532 0.24041 0.86882
INFLO 9 0.21212 0.19634 0.15391 0.13696 0.23188 0.21650 0.85623
INFLO 21 0.24242 0.22725 0.11106 0.09326 0.24242 0.22725 0.79022
COF 9 0.24242 0.22725 0.15149 0.13450 0.28571 0.27141 0.83631
COF 10 0.27273 0.25816 0.14457 0.12744 0.28169 0.26731 0.81206
COF 15 0.21212 0.19634 0.19871 0.18267 0.25000 0.23498 0.79305

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 1688 objects, 33 outliers (1.95%)

Download raw algorithm results (14.6 MB) Download raw algorithm evaluation table (60.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.18182 0.16550 0.15648 0.13966 0.20359 0.18771 0.83819
KNNW 1 0.21212 0.19641 0.20493 0.18907 0.25000 0.23505 0.84928
KNNW 2 0.21212 0.19641 0.19415 0.17808 0.22581 0.21037 0.85068
LOF 6 0.27273 0.25823 0.14289 0.12580 0.28916 0.27498 0.80674
LOF 9 0.27273 0.25823 0.15907 0.14230 0.29333 0.27924 0.80335
LOF 100 0.06061 0.04187 0.08227 0.06398 0.16034 0.14360 0.85477
SimplifiedLOF 13 0.30303 0.28913 0.18810 0.17191 0.31818 0.30459 0.85017
SimplifiedLOF 17 0.24242 0.22732 0.17035 0.15381 0.35165 0.33872 0.83904
LoOP 11 0.27273 0.25823 0.15739 0.14059 0.27692 0.26251 0.82712
LoOP 13 0.27273 0.25823 0.16802 0.15144 0.29333 0.27924 0.83955
LoOP 14 0.27273 0.25823 0.16177 0.14506 0.29730 0.28329 0.82909
LDOF 16 0.21212 0.19641 0.14771 0.13071 0.23077 0.21543 0.78317
LDOF 18 0.21212 0.19641 0.16082 0.14408 0.23881 0.22363 0.79086
LDOF 20 0.21212 0.19641 0.14553 0.12849 0.25000 0.23505 0.80425
LDOF 98 0.09091 0.07278 0.09341 0.07533 0.15721 0.14040 0.83920
ODIN 11 0.28389 0.26961 0.14833 0.13134 0.30508 0.29123 0.79458
ODIN 23 0.21212 0.19641 0.15353 0.13665 0.26667 0.25204 0.78381
ODIN 100 0.17803 0.16164 0.14620 0.12917 0.17910 0.16274 0.83116
FastABOD 3 0.21212 0.19641 0.15671 0.13990 0.27184 0.25733 0.83400
FastABOD 5 0.21212 0.19641 0.19499 0.17894 0.24561 0.23057 0.85026
KDEOS 56 0.18182 0.16550 0.11753 0.09994 0.18182 0.16550 0.78823
KDEOS 89 0.12121 0.10369 0.12548 0.10804 0.18182 0.16550 0.81741
KDEOS 100 0.12121 0.10369 0.12346 0.10599 0.18868 0.17250 0.81838
LDF 1 0.18182 0.16550 0.09737 0.07938 0.19048 0.17433 0.73699
LDF 3 0.18182 0.16550 0.13276 0.11547 0.23529 0.22005 0.77889
LDF 9 0.15152 0.13460 0.15330 0.13642 0.21277 0.19707 0.77206
LDF 91 0.09091 0.07278 0.08723 0.06903 0.16667 0.15005 0.85085
INFLO 7 0.30303 0.28913 0.15701 0.14020 0.31250 0.29879 0.80966
INFLO 9 0.24242 0.22732 0.17564 0.15921 0.29474 0.28067 0.79930
INFLO 92 0.12121 0.10369 0.08468 0.06643 0.15225 0.13535 0.85011
COF 4 0.21212 0.19641 0.12943 0.11207 0.23529 0.22005 0.81317
COF 8 0.30303 0.28913 0.19572 0.17968 0.32877 0.31538 0.78778
COF 14 0.27273 0.25823 0.22212 0.20661 0.29787 0.28387 0.81198

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO