Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Cardiotocography (5% of outliers version#07)

Data set related to heart diseases. It describes 3 classes: normal, suspect, or pathological. Normal patients are treated as inliers and the remaining as outliers.

Download all data set variants used (8.8 MB). You can also access the original data. (CTG.xls)

Normalized, without duplicates

This version contains 21 attributes, 1734 objects, 86 outliers (4.96%)

Download raw algorithm results (15.0 MB) Download raw algorithm evaluation table (65.0 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.29070 0.25368 0.24031 0.20067 0.30058 0.26408 0.73875
KNN 96 0.26744 0.22921 0.26638 0.22809 0.31336 0.27753 0.77539
KNN 99 0.26744 0.22921 0.26759 0.22937 0.31193 0.27602 0.77565
KNNW 3 0.26744 0.22921 0.23448 0.19453 0.27368 0.23578 0.75229
KNNW 5 0.26744 0.22921 0.25053 0.21142 0.30075 0.26426 0.74892
KNNW 8 0.25581 0.21698 0.25750 0.21875 0.29197 0.25502 0.74686
KNNW 100 0.25581 0.21698 0.25597 0.21714 0.28682 0.24960 0.76620
LOF 9 0.26744 0.22921 0.20625 0.16483 0.27488 0.23704 0.72109
LOF 11 0.26744 0.22921 0.21132 0.17016 0.30769 0.27156 0.73932
LOF 20 0.24419 0.20474 0.23744 0.19764 0.29457 0.25776 0.75726
LOF 100 0.23256 0.19251 0.20833 0.16702 0.24299 0.20349 0.78994
SimplifiedLOF 19 0.30233 0.26592 0.24083 0.20121 0.31902 0.28348 0.75111
SimplifiedLOF 20 0.31395 0.27815 0.23951 0.19983 0.31395 0.27815 0.75202
SimplifiedLOF 32 0.26744 0.22921 0.24541 0.20603 0.29457 0.25776 0.75132
SimplifiedLOF 100 0.24419 0.20474 0.21002 0.16880 0.26556 0.22723 0.77532
LoOP 16 0.26744 0.22921 0.20630 0.16488 0.30769 0.27156 0.73755
LoOP 17 0.29070 0.25368 0.21002 0.16879 0.30058 0.26408 0.73718
LoOP 34 0.25581 0.21698 0.22511 0.18467 0.28571 0.24844 0.74388
LoOP 100 0.23256 0.19251 0.20268 0.16107 0.28571 0.24844 0.76668
LDOF 35 0.24419 0.20474 0.20622 0.16480 0.27941 0.24181 0.70140
LDOF 38 0.26744 0.22921 0.20499 0.16351 0.27500 0.23717 0.70267
LDOF 49 0.26744 0.22921 0.19559 0.15361 0.30345 0.26710 0.69815
LDOF 100 0.23256 0.19251 0.18628 0.14382 0.26178 0.22326 0.73272
ODIN 80 0.26578 0.22747 0.17245 0.12926 0.27273 0.23477 0.76157
ODIN 100 0.24564 0.20627 0.17884 0.13599 0.25610 0.21728 0.76987
FastABOD 36 0.26744 0.22921 0.19952 0.15775 0.26901 0.23086 0.80106
FastABOD 37 0.26744 0.22921 0.19992 0.15817 0.27381 0.23591 0.80165
FastABOD 100 0.25581 0.21698 0.20549 0.16402 0.26943 0.23131 0.80988
KDEOS 86 0.19767 0.15581 0.12701 0.08146 0.20155 0.15988 0.72547
KDEOS 89 0.18605 0.14357 0.12750 0.08197 0.20968 0.16843 0.72810
KDEOS 93 0.18605 0.14357 0.12520 0.07955 0.21607 0.17516 0.73058
KDEOS 99 0.18605 0.14357 0.12082 0.07494 0.20974 0.16850 0.73166
LDF 6 0.25581 0.21698 0.25794 0.21921 0.28070 0.24317 0.68599
LDF 86 0.32558 0.29039 0.23273 0.19269 0.34247 0.30815 0.77607
LDF 98 0.31395 0.27815 0.25091 0.21181 0.34899 0.31502 0.78531
LDF 100 0.31395 0.27815 0.25442 0.21551 0.34483 0.31064 0.78680
INFLO 21 0.26744 0.22921 0.21325 0.17219 0.28931 0.25222 0.75925
INFLO 29 0.27907 0.24145 0.20641 0.16500 0.27933 0.24172 0.74621
INFLO 96 0.24419 0.20474 0.20565 0.16420 0.26852 0.23035 0.78729
COF 18 0.27907 0.24145 0.28275 0.24532 0.31034 0.27436 0.70683
COF 36 0.31395 0.27815 0.26368 0.22525 0.31395 0.27815 0.74829
COF 49 0.30233 0.26592 0.24840 0.20918 0.33766 0.30310 0.74945
COF 60 0.26744 0.22921 0.24208 0.20253 0.29487 0.25808 0.77580

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 1742 objects, 87 outliers (4.99%)

Download raw algorithm results (15.1 MB) Download raw algorithm evaluation table (67.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 88 0.35632 0.32248 0.30604 0.26956 0.36364 0.33018 0.75228
KNN 90 0.35632 0.32248 0.30638 0.26992 0.36571 0.33237 0.75166
KNN 99 0.34483 0.31039 0.30828 0.27191 0.36158 0.32802 0.75446
KNNW 2 0.32184 0.28619 0.26726 0.22875 0.34021 0.30552 0.74282
KNNW 3 0.34483 0.31039 0.27909 0.24119 0.35897 0.32528 0.73566
KNNW 4 0.33333 0.29829 0.28195 0.24420 0.36000 0.32636 0.72747
KNNW 100 0.31034 0.27409 0.28402 0.24638 0.32520 0.28973 0.74201
LOF 7 0.32184 0.28619 0.18854 0.14589 0.32558 0.29013 0.72532
LOF 100 0.25287 0.21360 0.21837 0.17728 0.26829 0.22983 0.77592
SimplifiedLOF 10 0.33333 0.29829 0.22968 0.18919 0.33333 0.29829 0.74469
SimplifiedLOF 13 0.31034 0.27409 0.23773 0.19766 0.35122 0.31711 0.75159
SimplifiedLOF 14 0.32184 0.28619 0.23159 0.19120 0.36620 0.33288 0.75593
SimplifiedLOF 98 0.27586 0.23780 0.20576 0.16401 0.28743 0.24997 0.76354
LoOP 11 0.29885 0.26199 0.19443 0.15208 0.32632 0.29090 0.73560
LoOP 12 0.31034 0.27409 0.19882 0.15670 0.32000 0.28425 0.73594
LoOP 98 0.26437 0.22570 0.19109 0.14856 0.26816 0.22968 0.75234
LDOF 14 0.24138 0.20150 0.18845 0.14578 0.27468 0.23655 0.71820
LDOF 19 0.25287 0.21360 0.18135 0.13831 0.27473 0.23660 0.72412
LDOF 21 0.21839 0.17730 0.16342 0.11944 0.28000 0.24215 0.72803
LDOF 95 0.20690 0.16520 0.17812 0.13491 0.24793 0.20840 0.74185
ODIN 71 0.22989 0.18940 0.13901 0.09375 0.22989 0.18940 0.73752
ODIN 98 0.20690 0.16520 0.15497 0.11055 0.23602 0.19586 0.74845
ODIN 100 0.20920 0.16762 0.15592 0.11155 0.23529 0.19510 0.74962
FastABOD 4 0.28736 0.24989 0.20050 0.15848 0.31429 0.27824 0.77239
FastABOD 49 0.32184 0.28619 0.22104 0.18009 0.32298 0.28739 0.76100
FastABOD 98 0.29885 0.26199 0.22267 0.18181 0.32990 0.29467 0.76363
FastABOD 100 0.29885 0.26199 0.22281 0.18196 0.32990 0.29467 0.76381
KDEOS 15 0.14943 0.10471 0.12808 0.08224 0.23622 0.19607 0.70100
KDEOS 17 0.17241 0.12891 0.12700 0.08111 0.21296 0.17159 0.69591
KDEOS 100 0.08046 0.03212 0.09053 0.04272 0.18538 0.14256 0.71371
LDF 76 0.34483 0.31039 0.25968 0.22076 0.34483 0.31039 0.76001
LDF 99 0.34483 0.31039 0.30135 0.26462 0.37500 0.34215 0.76797
LDF 100 0.34483 0.31039 0.30248 0.26581 0.37267 0.33969 0.76736
INFLO 8 0.24138 0.20150 0.16384 0.11988 0.28235 0.24463 0.71941
INFLO 98 0.24138 0.20150 0.20215 0.16021 0.26866 0.23021 0.76299
INFLO 100 0.24138 0.20150 0.20264 0.16072 0.26977 0.23138 0.76218
COF 15 0.33333 0.29829 0.32195 0.28631 0.37662 0.34385 0.75468
COF 17 0.39080 0.35878 0.30231 0.26563 0.39521 0.36342 0.74267

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 1734 objects, 86 outliers (4.96%)

Download raw algorithm results (15.0 MB) Download raw algorithm evaluation table (65.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.24419 0.20474 0.17267 0.12949 0.26721 0.22897 0.78221
KNN 98 0.19767 0.15581 0.14053 0.09568 0.26766 0.22944 0.76443
KNNW 1 0.22093 0.18027 0.19137 0.14917 0.26852 0.23035 0.79202
KNNW 2 0.23256 0.19251 0.19130 0.14909 0.27149 0.23348 0.80075
LOF 6 0.24419 0.20474 0.15123 0.10694 0.25556 0.21671 0.68664
LOF 8 0.24419 0.20474 0.16606 0.12254 0.27397 0.23609 0.71220
LOF 9 0.23256 0.19251 0.17386 0.13074 0.26154 0.22300 0.71792
LOF 99 0.17442 0.13134 0.15055 0.10623 0.26598 0.22768 0.80870
SimplifiedLOF 10 0.25581 0.21698 0.18063 0.13787 0.26667 0.22840 0.71348
SimplifiedLOF 11 0.24419 0.20474 0.19141 0.14921 0.28986 0.25280 0.72080
SimplifiedLOF 12 0.24419 0.20474 0.19514 0.15314 0.27397 0.23609 0.72614
SimplifiedLOF 95 0.17442 0.13134 0.14526 0.10066 0.25939 0.22074 0.78658
LoOP 10 0.25581 0.21698 0.17455 0.13147 0.27273 0.23477 0.69392
LoOP 11 0.24419 0.20474 0.17877 0.13591 0.28188 0.24440 0.70133
LoOP 12 0.24419 0.20474 0.18260 0.13994 0.27419 0.23632 0.70919
LoOP 89 0.17442 0.13134 0.14591 0.10134 0.25606 0.21723 0.77557
LDOF 12 0.26744 0.22921 0.17245 0.12926 0.27059 0.23252 0.66148
LDOF 100 0.17442 0.13134 0.15018 0.10583 0.24113 0.20153 0.77483
ODIN 42 0.22020 0.17951 0.18517 0.14265 0.22951 0.18930 0.75147
ODIN 43 0.22230 0.18171 0.18466 0.14211 0.23333 0.19333 0.75109
ODIN 53 0.20085 0.15914 0.17789 0.13499 0.26984 0.23174 0.75950
ODIN 100 0.17636 0.13338 0.18506 0.14253 0.26316 0.22471 0.76624
FastABOD 5 0.22093 0.18027 0.18158 0.13888 0.26877 0.23062 0.80184
FastABOD 10 0.24419 0.20474 0.17806 0.13517 0.25434 0.21542 0.80142
FastABOD 66 0.20930 0.16804 0.17006 0.12674 0.27799 0.24031 0.80054
KDEOS 90 0.18605 0.14357 0.15293 0.10873 0.22535 0.18493 0.76767
KDEOS 93 0.16279 0.11910 0.15129 0.10700 0.23325 0.19324 0.76891
KDEOS 100 0.17442 0.13134 0.16034 0.11653 0.24552 0.20615 0.76858
LDF 76 0.23256 0.19251 0.15358 0.10941 0.27206 0.23407 0.80307
LDF 92 0.22093 0.18027 0.16168 0.11793 0.29391 0.25706 0.81627
LDF 100 0.22093 0.18027 0.16534 0.12179 0.29167 0.25470 0.82040
INFLO 6 0.25581 0.21698 0.17027 0.12698 0.25806 0.21935 0.68015
INFLO 9 0.25581 0.21698 0.17957 0.13676 0.28387 0.24650 0.67809
INFLO 100 0.19767 0.15581 0.14610 0.10154 0.25723 0.21847 0.77703
COF 15 0.20930 0.16804 0.15335 0.10916 0.21429 0.17328 0.74128
COF 25 0.17442 0.13134 0.15056 0.10623 0.20968 0.16843 0.74518
COF 39 0.15116 0.10687 0.16337 0.11971 0.25000 0.21086 0.73007
COF 49 0.17442 0.13134 0.15753 0.11357 0.27027 0.23219 0.72122

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 1742 objects, 87 outliers (4.99%)

Download raw algorithm results (15.0 MB) Download raw algorithm evaluation table (66.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.21839 0.17730 0.18486 0.14201 0.23913 0.19913 0.76050
KNN 2 0.19540 0.15311 0.17550 0.13216 0.25778 0.21876 0.76149
KNN 39 0.18391 0.14101 0.14407 0.09907 0.28821 0.25079 0.73446
KNNW 1 0.22989 0.18940 0.20373 0.16187 0.23952 0.19954 0.76349
KNNW 3 0.21839 0.17730 0.19226 0.14980 0.24812 0.20860 0.77856
KNNW 89 0.18391 0.14101 0.14553 0.10061 0.28444 0.24683 0.73882
LOF 8 0.34483 0.31039 0.25828 0.21929 0.35294 0.31893 0.76748
LOF 9 0.31034 0.27409 0.26347 0.22475 0.34177 0.30717 0.76827
LOF 100 0.19540 0.15311 0.15772 0.11344 0.26380 0.22510 0.78543
SimplifiedLOF 9 0.35632 0.32248 0.25964 0.22073 0.36111 0.32753 0.77793
SimplifiedLOF 11 0.34483 0.31039 0.28179 0.24404 0.37419 0.34130 0.79012
SimplifiedLOF 13 0.33333 0.29829 0.28033 0.24250 0.35000 0.31583 0.79819
LoOP 11 0.34483 0.31039 0.26385 0.22515 0.36111 0.32753 0.77266
LoOP 12 0.33333 0.29829 0.26690 0.22836 0.36025 0.32662 0.78050
LoOP 13 0.32184 0.28619 0.27144 0.23314 0.36496 0.33158 0.77991
LDOF 13 0.35632 0.32248 0.24400 0.20426 0.36158 0.32802 0.72577
LDOF 16 0.35632 0.32248 0.25167 0.21233 0.36478 0.33139 0.72860
LDOF 99 0.20690 0.16520 0.17103 0.12745 0.26582 0.22723 0.75539
ODIN 13 0.22839 0.18782 0.14567 0.10076 0.22857 0.18802 0.71534
ODIN 84 0.19540 0.15311 0.17697 0.13371 0.28296 0.24526 0.74981
ODIN 100 0.19540 0.15311 0.18957 0.14697 0.27937 0.24148 0.75789
FastABOD 4 0.24138 0.20150 0.18040 0.13732 0.25225 0.21294 0.77491
FastABOD 5 0.24138 0.20150 0.19160 0.14910 0.26207 0.22328 0.76782
FastABOD 9 0.25287 0.21360 0.18838 0.14572 0.25641 0.21732 0.76647
FastABOD 12 0.24138 0.20150 0.18985 0.14726 0.27632 0.23827 0.76752
KDEOS 18 0.18391 0.14101 0.12402 0.07798 0.19643 0.15419 0.74155
KDEOS 96 0.13793 0.09261 0.13616 0.09074 0.21843 0.17734 0.75208
KDEOS 97 0.13793 0.09261 0.13697 0.09160 0.22000 0.17900 0.75124
KDEOS 100 0.14943 0.10471 0.13429 0.08878 0.23368 0.19339 0.75104
LDF 6 0.21839 0.17730 0.21675 0.17557 0.26022 0.22133 0.74207
LDF 8 0.25287 0.21360 0.21568 0.17445 0.26966 0.23127 0.75966
LDF 99 0.22989 0.18940 0.16092 0.11681 0.25907 0.22012 0.78569
INFLO 5 0.33333 0.29829 0.23683 0.19671 0.34940 0.31520 0.76169
INFLO 6 0.34483 0.31039 0.26269 0.22394 0.36585 0.33252 0.74688
INFLO 9 0.34483 0.31039 0.27902 0.24112 0.35556 0.32168 0.75425
COF 9 0.28736 0.24989 0.21219 0.17078 0.28736 0.24989 0.75363
COF 10 0.26437 0.22570 0.21576 0.17454 0.31183 0.27565 0.76772
COF 11 0.27586 0.23780 0.22828 0.18772 0.30542 0.26891 0.76740
COF 12 0.28736 0.24989 0.22445 0.18369 0.31250 0.27636 0.76287

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO