Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Cardiotocography (5% of outliers version#03)

Data set related to heart diseases. It describes 3 classes: normal, suspect, or pathological. Normal patients are treated as inliers and the remaining as outliers.

Download all data set variants used (8.8 MB). You can also access the original data. (CTG.xls)

Normalized, without duplicates

This version contains 21 attributes, 1734 objects, 86 outliers (4.96%)

Download raw algorithm results (15.0 MB) Download raw algorithm evaluation table (65.5 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 91 0.26744 0.22921 0.20833 0.16702 0.27746 0.23975 0.72418
KNN 94 0.27907 0.24145 0.20882 0.16753 0.27933 0.24172 0.72408
KNN 99 0.26744 0.22921 0.20843 0.16712 0.28415 0.24680 0.72334
KNNW 1 0.20930 0.16804 0.16866 0.12528 0.22010 0.17940 0.71951
KNNW 2 0.25581 0.21698 0.17925 0.13642 0.25731 0.21855 0.71795
KNNW 88 0.23256 0.19251 0.19347 0.15138 0.26772 0.22950 0.70995
KNNW 100 0.23256 0.19251 0.19404 0.15198 0.26772 0.22950 0.71189
LOF 4 0.23256 0.19251 0.17264 0.12947 0.29032 0.25329 0.66244
LOF 6 0.26744 0.22921 0.18808 0.14571 0.28571 0.24844 0.70131
LOF 7 0.24419 0.20474 0.19037 0.14812 0.28249 0.24504 0.71017
LOF 100 0.20930 0.16804 0.15145 0.10717 0.23333 0.19333 0.75256
SimplifiedLOF 10 0.29070 0.25368 0.21055 0.16935 0.31088 0.27492 0.72341
SimplifiedLOF 11 0.30233 0.26592 0.19730 0.15541 0.31214 0.27624 0.72930
SimplifiedLOF 12 0.29070 0.25368 0.19980 0.15804 0.31414 0.27834 0.72902
SimplifiedLOF 15 0.27907 0.24145 0.18407 0.14149 0.29032 0.25329 0.73353
LoOP 9 0.23256 0.19251 0.17541 0.13238 0.25121 0.21213 0.71188
LoOP 16 0.26744 0.22921 0.15478 0.11067 0.27027 0.23219 0.71567
LoOP 18 0.25581 0.21698 0.15735 0.11337 0.27273 0.23477 0.70979
LoOP 100 0.18605 0.14357 0.14168 0.09689 0.22826 0.18799 0.72291
LDOF 12 0.20930 0.16804 0.15102 0.10671 0.25510 0.21623 0.68285
LDOF 13 0.23256 0.19251 0.15107 0.10677 0.25157 0.21252 0.68409
LDOF 17 0.22093 0.18027 0.15605 0.11201 0.24806 0.20882 0.68972
ODIN 24 0.19380 0.15173 0.12834 0.08285 0.19540 0.15341 0.67093
ODIN 81 0.16860 0.12522 0.13352 0.08830 0.21972 0.17900 0.72023
ODIN 96 0.15116 0.10687 0.13715 0.09212 0.21449 0.17350 0.72829
ODIN 99 0.15449 0.11036 0.13696 0.09192 0.21264 0.17156 0.72904
FastABOD 7 0.23256 0.19251 0.15998 0.11615 0.24000 0.20034 0.75705
FastABOD 98 0.20930 0.16804 0.16586 0.12233 0.26855 0.23038 0.76137
FastABOD 99 0.20930 0.16804 0.16557 0.12203 0.26950 0.23138 0.76137
FastABOD 100 0.20930 0.16804 0.16516 0.12160 0.26950 0.23138 0.76155
KDEOS 38 0.11628 0.07016 0.09340 0.04609 0.17872 0.13587 0.65633
KDEOS 94 0.16279 0.11910 0.09628 0.04911 0.17079 0.12751 0.67645
KDEOS 100 0.13953 0.09463 0.09823 0.05117 0.17157 0.12834 0.68108
LDF 76 0.25581 0.21698 0.17942 0.13660 0.28758 0.25040 0.73082
LDF 86 0.26744 0.22921 0.19297 0.15086 0.28169 0.24421 0.73017
LDF 100 0.26744 0.22921 0.21257 0.17148 0.29299 0.25610 0.73046
INFLO 6 0.24419 0.20474 0.16849 0.12509 0.25668 0.21789 0.69979
INFLO 7 0.23256 0.19251 0.16885 0.12548 0.26667 0.22840 0.69195
INFLO 100 0.16279 0.11910 0.14831 0.10386 0.23704 0.19722 0.74182
COF 9 0.20930 0.16804 0.21156 0.17042 0.26341 0.22498 0.70921
COF 12 0.23256 0.19251 0.21482 0.17384 0.29245 0.25553 0.70174
COF 14 0.22093 0.18027 0.22741 0.18710 0.28718 0.24998 0.69313
COF 25 0.27907 0.24145 0.19324 0.15114 0.27907 0.24145 0.65922

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 1742 objects, 87 outliers (4.99%)

Download raw algorithm results (15.1 MB) Download raw algorithm evaluation table (68.0 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 4 0.32184 0.28619 0.20618 0.16445 0.32184 0.28619 0.72620
KNN 95 0.32184 0.28619 0.26611 0.22753 0.35354 0.31955 0.77112
KNN 96 0.32184 0.28619 0.26577 0.22717 0.35821 0.32447 0.77099
KNNW 76 0.31034 0.27409 0.23143 0.19103 0.33735 0.30252 0.75465
KNNW 99 0.32184 0.28619 0.24128 0.20140 0.33202 0.29690 0.75858
KNNW 100 0.32184 0.28619 0.24141 0.20153 0.33071 0.29553 0.75874
LOF 5 0.21839 0.17730 0.15933 0.11514 0.25253 0.21323 0.71064
LOF 7 0.20690 0.16520 0.16954 0.12588 0.28571 0.24817 0.75624
LOF 100 0.20690 0.16520 0.17914 0.13598 0.26959 0.23120 0.79088
SimplifiedLOF 11 0.28736 0.24989 0.21050 0.16900 0.30357 0.26696 0.77082
SimplifiedLOF 12 0.26437 0.22570 0.20686 0.16516 0.30645 0.26999 0.77447
SimplifiedLOF 16 0.21839 0.17730 0.18370 0.14079 0.30070 0.26394 0.78483
LoOP 11 0.22989 0.18940 0.17378 0.13035 0.27027 0.23191 0.75893
LoOP 12 0.20690 0.16520 0.16660 0.12279 0.27559 0.23751 0.76251
LoOP 97 0.18391 0.14101 0.16175 0.11769 0.26616 0.22758 0.77180
LDOF 17 0.26437 0.22570 0.18479 0.14193 0.27273 0.23450 0.72093
LDOF 18 0.26437 0.22570 0.17943 0.13630 0.27545 0.23736 0.72983
LDOF 100 0.19540 0.15311 0.14464 0.09968 0.23377 0.19349 0.75050
ODIN 42 0.16510 0.12121 0.13629 0.09089 0.23145 0.19105 0.74027
ODIN 61 0.20063 0.15861 0.12969 0.08394 0.23392 0.19365 0.74812
ODIN 98 0.14778 0.10298 0.13440 0.08890 0.25914 0.22019 0.76098
ODIN 100 0.15805 0.11379 0.13620 0.09079 0.25490 0.21573 0.76273
FastABOD 14 0.21839 0.17730 0.14475 0.09979 0.23932 0.19933 0.74178
FastABOD 49 0.19540 0.15311 0.14976 0.10506 0.25571 0.21658 0.75523
FastABOD 100 0.20690 0.16520 0.15379 0.10930 0.24638 0.20676 0.76395
KDEOS 22 0.12644 0.08052 0.11748 0.07108 0.16754 0.12378 0.71057
KDEOS 36 0.17241 0.12891 0.10534 0.05831 0.17241 0.12891 0.71546
KDEOS 37 0.14943 0.10471 0.10820 0.06132 0.16760 0.12384 0.71553
KDEOS 97 0.09195 0.04422 0.09633 0.04883 0.18785 0.14515 0.71037
LDF 7 0.28736 0.24989 0.26379 0.22509 0.30088 0.26413 0.76709
LDF 87 0.32184 0.28619 0.25264 0.21335 0.33149 0.29635 0.77200
LDF 91 0.33333 0.29829 0.25323 0.21398 0.33721 0.30237 0.77015
LDF 98 0.32184 0.28619 0.25860 0.21962 0.35443 0.32049 0.77047
INFLO 91 0.22989 0.18940 0.17208 0.12856 0.26027 0.22139 0.78113
INFLO 96 0.20690 0.16520 0.17436 0.13096 0.27103 0.23271 0.79423
INFLO 99 0.19540 0.15311 0.17454 0.13114 0.27230 0.23405 0.79422
INFLO 100 0.19540 0.15311 0.17535 0.13200 0.27143 0.23313 0.79399
COF 13 0.22989 0.18940 0.16638 0.12256 0.30088 0.26413 0.72041
COF 16 0.24138 0.20150 0.18468 0.14182 0.27551 0.23743 0.71629
COF 17 0.26437 0.22570 0.15814 0.11389 0.26590 0.22731 0.71780
COF 18 0.22989 0.18940 0.15860 0.11437 0.25532 0.21617 0.72096

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 1734 objects, 86 outliers (4.96%)

Download raw algorithm results (15.0 MB) Download raw algorithm evaluation table (66.0 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.17442 0.13134 0.16042 0.11660 0.21229 0.17118 0.74520
KNN 2 0.17442 0.13134 0.14247 0.09772 0.22157 0.18095 0.74041
KNNW 1 0.22093 0.18027 0.20748 0.16612 0.24413 0.20469 0.77847
LOF 8 0.30233 0.26592 0.23094 0.19081 0.32432 0.28906 0.73733
LOF 100 0.11628 0.07016 0.12137 0.07552 0.23325 0.19324 0.75976
SimplifiedLOF 12 0.29070 0.25368 0.22275 0.18219 0.29545 0.25869 0.74342
SimplifiedLOF 13 0.26744 0.22921 0.22353 0.18301 0.29299 0.25610 0.73917
SimplifiedLOF 18 0.25581 0.21698 0.20422 0.16270 0.26590 0.22759 0.74613
LoOP 10 0.25581 0.21698 0.20377 0.16222 0.28767 0.25050 0.71361
LoOP 11 0.26744 0.22921 0.20010 0.15835 0.27329 0.23537 0.72234
LoOP 12 0.26744 0.22921 0.20396 0.16242 0.27737 0.23966 0.72818
LoOP 14 0.25581 0.21698 0.20559 0.16413 0.26772 0.22950 0.71417
LDOF 13 0.24419 0.20474 0.16763 0.12419 0.24852 0.20931 0.66962
LDOF 18 0.24419 0.20474 0.18031 0.13754 0.26250 0.22401 0.68529
LDOF 20 0.23256 0.19251 0.18512 0.14260 0.26144 0.22290 0.68856
LDOF 98 0.13953 0.09463 0.12312 0.07736 0.22695 0.18661 0.71837
ODIN 7 0.22481 0.18435 0.13101 0.08566 0.24000 0.20034 0.67843
ODIN 75 0.13953 0.09463 0.17559 0.13257 0.25203 0.21300 0.70459
ODIN 92 0.15962 0.11576 0.17318 0.13003 0.25914 0.22047 0.71496
ODIN 100 0.17151 0.12828 0.17502 0.13197 0.25078 0.21169 0.72254
FastABOD 7 0.19767 0.15581 0.18363 0.14103 0.25339 0.21443 0.76875
FastABOD 9 0.22093 0.18027 0.17862 0.13576 0.24299 0.20349 0.77146
FastABOD 11 0.20930 0.16804 0.17850 0.13563 0.23762 0.19784 0.77151
KDEOS 82 0.13953 0.09463 0.10610 0.05946 0.21290 0.17183 0.71073
KDEOS 91 0.13953 0.09463 0.11432 0.06810 0.22527 0.18485 0.71939
KDEOS 98 0.13953 0.09463 0.11873 0.07274 0.22335 0.18282 0.72230
LDF 6 0.25581 0.21698 0.18465 0.14210 0.26036 0.22176 0.73662
LDF 8 0.24419 0.20474 0.20572 0.16427 0.28272 0.24529 0.76469
LDF 100 0.19767 0.15581 0.12475 0.07908 0.22082 0.18016 0.77378
INFLO 8 0.25581 0.21698 0.21182 0.17069 0.28125 0.24374 0.70812
INFLO 11 0.29070 0.25368 0.19142 0.14922 0.30380 0.26747 0.71797
COF 14 0.26744 0.22921 0.22065 0.17998 0.28272 0.24529 0.75327
COF 15 0.26744 0.22921 0.22121 0.18057 0.27746 0.23975 0.74757
COF 16 0.22093 0.18027 0.21805 0.17725 0.25862 0.21993 0.75331
COF 37 0.22093 0.18027 0.18690 0.14447 0.29032 0.25329 0.72642

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 1742 objects, 87 outliers (4.99%)

Download raw algorithm results (15.0 MB) Download raw algorithm evaluation table (67.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 6 0.22989 0.18940 0.14249 0.09742 0.26885 0.23042 0.75439
KNN 68 0.14943 0.10471 0.14688 0.10204 0.30631 0.26984 0.77133
KNN 99 0.17241 0.12891 0.14849 0.10373 0.29289 0.25572 0.77780
KNN 100 0.17241 0.12891 0.14840 0.10363 0.29289 0.25572 0.77832
KNNW 2 0.17241 0.12891 0.15568 0.11130 0.20134 0.15936 0.75368
KNNW 4 0.17241 0.12891 0.14820 0.10342 0.23832 0.19828 0.77436
KNNW 5 0.19540 0.15311 0.14759 0.10278 0.25496 0.21579 0.77422
KNNW 90 0.16092 0.11681 0.14700 0.10216 0.30435 0.26778 0.76993
LOF 9 0.27586 0.23780 0.22274 0.18188 0.28986 0.25252 0.77422
LOF 12 0.29885 0.26199 0.21414 0.17283 0.30542 0.26891 0.77803
LOF 14 0.26437 0.22570 0.19419 0.15183 0.31068 0.27444 0.77885
LOF 100 0.17241 0.12891 0.15817 0.11392 0.28278 0.24507 0.81405
SimplifiedLOF 13 0.26437 0.22570 0.23198 0.19161 0.30147 0.26475 0.77769
SimplifiedLOF 16 0.26437 0.22570 0.22546 0.18474 0.29878 0.26192 0.78378
SimplifiedLOF 19 0.27586 0.23780 0.20514 0.16335 0.29139 0.25414 0.78121
SimplifiedLOF 24 0.21839 0.17730 0.18476 0.14190 0.31050 0.27426 0.77712
LoOP 13 0.22989 0.18940 0.21644 0.17525 0.26667 0.22812 0.75054
LoOP 16 0.26437 0.22570 0.20510 0.16331 0.28472 0.24712 0.75521
LoOP 23 0.22989 0.18940 0.18222 0.13923 0.28897 0.25160 0.74948
LoOP 100 0.17241 0.12891 0.14704 0.10220 0.27875 0.24083 0.76832
LDOF 15 0.26437 0.22570 0.18738 0.14466 0.27586 0.23780 0.70107
LDOF 20 0.24138 0.20150 0.18315 0.14021 0.28814 0.25071 0.70899
LDOF 99 0.12644 0.08052 0.14044 0.09526 0.25763 0.21860 0.77157
ODIN 25 0.23116 0.19075 0.17079 0.12719 0.23596 0.19579 0.72202
ODIN 72 0.19080 0.14827 0.18417 0.14129 0.28458 0.24698 0.77486
ODIN 96 0.20690 0.16520 0.19460 0.15226 0.27350 0.23531 0.79020
ODIN 100 0.21226 0.17085 0.19328 0.15087 0.28070 0.24289 0.79121
FastABOD 6 0.18391 0.14101 0.14062 0.09545 0.20091 0.15891 0.72815
FastABOD 11 0.19540 0.15311 0.13908 0.09382 0.20984 0.16830 0.73067
FastABOD 94 0.14943 0.10471 0.13664 0.09126 0.24590 0.20626 0.74295
FastABOD 100 0.14943 0.10471 0.13630 0.09089 0.24490 0.20520 0.74315
KDEOS 89 0.17241 0.12891 0.13297 0.08739 0.20137 0.15938 0.74445
KDEOS 98 0.16092 0.11681 0.13371 0.08817 0.21402 0.17270 0.74893
KDEOS 100 0.13793 0.09261 0.13237 0.08676 0.21388 0.17256 0.74899
LDF 6 0.20690 0.16520 0.20096 0.15896 0.30556 0.26905 0.77220
LDF 8 0.26437 0.22570 0.23775 0.19768 0.28986 0.25252 0.81062
LDF 100 0.20690 0.16520 0.16569 0.12183 0.29240 0.25520 0.82469
INFLO 11 0.25287 0.21360 0.20518 0.16340 0.27184 0.23357 0.73757
INFLO 12 0.27586 0.23780 0.20103 0.15903 0.29319 0.25604 0.71957
INFLO 15 0.24138 0.20150 0.18554 0.14273 0.29344 0.25629 0.74607
INFLO 98 0.20690 0.16520 0.15319 0.10867 0.26316 0.22442 0.77686
COF 13 0.19540 0.15311 0.18177 0.13876 0.22833 0.18776 0.75965
COF 16 0.19540 0.15311 0.17882 0.13566 0.24304 0.20325 0.76229
COF 27 0.24138 0.20150 0.15414 0.10968 0.26852 0.23007 0.71630

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO