Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Cardiotocography (5% of outliers version#02)

Data set related to heart diseases. It describes 3 classes: normal, suspect, or pathological. Normal patients are treated as inliers and the remaining as outliers.

Download all data set variants used (8.8 MB). You can also access the original data. (CTG.xls)

Normalized, without duplicates

This version contains 21 attributes, 1734 objects, 86 outliers (4.96%)

Download raw algorithm results (15.0 MB) Download raw algorithm evaluation table (65.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 54 0.26744 0.22921 0.20948 0.16823 0.27322 0.23530 0.73579
KNN 100 0.26744 0.22921 0.22565 0.18524 0.29947 0.26291 0.75240
KNNW 19 0.26744 0.22921 0.18710 0.14468 0.26744 0.22921 0.69914
KNNW 100 0.25581 0.21698 0.20956 0.16831 0.26738 0.22915 0.73674
LOF 82 0.25581 0.21698 0.16768 0.12425 0.25731 0.21855 0.78084
LOF 100 0.24419 0.20474 0.18177 0.13907 0.24859 0.20938 0.79329
SimplifiedLOF 22 0.20930 0.16804 0.13773 0.09273 0.28821 0.25107 0.68856
SimplifiedLOF 83 0.24419 0.20474 0.15804 0.11410 0.24419 0.20474 0.74970
SimplifiedLOF 100 0.24419 0.20474 0.16372 0.12008 0.25610 0.21728 0.76456
LoOP 22 0.16279 0.11910 0.12513 0.07948 0.28821 0.25107 0.66971
LoOP 87 0.24419 0.20474 0.15250 0.10828 0.24581 0.20645 0.74195
LoOP 99 0.23256 0.19251 0.16016 0.11634 0.24859 0.20938 0.75222
LoOP 100 0.24419 0.20474 0.15888 0.11499 0.24859 0.20938 0.75459
LDOF 38 0.19767 0.15581 0.11752 0.07147 0.25773 0.21900 0.65665
LDOF 79 0.24419 0.20474 0.13330 0.08808 0.24419 0.20474 0.70602
LDOF 100 0.19767 0.15581 0.14172 0.09693 0.22124 0.18060 0.72538
ODIN 39 0.20413 0.16260 0.13166 0.08635 0.24121 0.20161 0.71714
ODIN 74 0.21512 0.17416 0.13474 0.08959 0.21687 0.17600 0.73550
ODIN 100 0.19535 0.15336 0.14359 0.09889 0.22222 0.18163 0.74973
FastABOD 28 0.23256 0.19251 0.15611 0.11208 0.23770 0.19792 0.72744
FastABOD 51 0.20930 0.16804 0.15959 0.11574 0.26126 0.22271 0.73527
FastABOD 99 0.22093 0.18027 0.16511 0.12154 0.25366 0.21471 0.74400
FastABOD 100 0.22093 0.18027 0.16636 0.12286 0.25366 0.21471 0.74400
KDEOS 22 0.13953 0.09463 0.08444 0.03666 0.15000 0.10564 0.63003
KDEOS 49 0.11628 0.07016 0.09936 0.05236 0.18113 0.13840 0.66257
KDEOS 99 0.09302 0.04569 0.10403 0.05728 0.17413 0.13103 0.68391
KDEOS 100 0.09302 0.04569 0.10370 0.05693 0.17327 0.13012 0.68420
LDF 83 0.31395 0.27815 0.22855 0.18830 0.32168 0.28628 0.77817
LDF 88 0.31395 0.27815 0.23523 0.19532 0.32000 0.28451 0.78232
LDF 93 0.31395 0.27815 0.23795 0.19819 0.33557 0.30090 0.78174
LDF 100 0.31395 0.27815 0.24035 0.20071 0.33113 0.29622 0.78005
INFLO 28 0.17442 0.13134 0.13051 0.08514 0.25828 0.21957 0.67054
INFLO 76 0.24419 0.20474 0.15552 0.11145 0.24561 0.20625 0.75555
INFLO 100 0.22093 0.18027 0.17013 0.12682 0.23729 0.19749 0.77001
COF 30 0.24419 0.20474 0.20160 0.15993 0.24419 0.20474 0.70335
COF 32 0.22093 0.18027 0.20476 0.16326 0.26562 0.22730 0.69990
COF 33 0.22093 0.18027 0.20599 0.16455 0.25714 0.21838 0.70123
COF 76 0.16279 0.11910 0.19049 0.14825 0.22464 0.18418 0.74666

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 1742 objects, 87 outliers (4.99%)

Download raw algorithm results (15.0 MB) Download raw algorithm evaluation table (66.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 47 0.33333 0.29829 0.26561 0.22700 0.33721 0.30237 0.74702
KNN 55 0.32184 0.28619 0.27307 0.23486 0.34091 0.30626 0.75091
KNN 99 0.31034 0.27409 0.28539 0.24782 0.32911 0.29385 0.76832
KNN 100 0.31034 0.27409 0.28588 0.24834 0.32911 0.29385 0.76818
KNNW 94 0.33333 0.29829 0.26782 0.22933 0.33333 0.29829 0.75022
KNNW 97 0.33333 0.29829 0.26815 0.22968 0.33526 0.30032 0.75081
KNNW 100 0.33333 0.29829 0.27254 0.23429 0.33526 0.30032 0.75145
LOF 4 0.25287 0.21360 0.18368 0.14076 0.28431 0.24669 0.65078
LOF 8 0.22989 0.18940 0.21820 0.17711 0.25503 0.21587 0.71022
LOF 34 0.21839 0.17730 0.17528 0.13192 0.28571 0.24817 0.76323
LOF 99 0.25287 0.21360 0.21429 0.17299 0.26087 0.22201 0.79643
SimplifiedLOF 7 0.29885 0.26199 0.20981 0.16827 0.30769 0.27130 0.69241
SimplifiedLOF 9 0.27586 0.23780 0.23469 0.19446 0.31293 0.27681 0.71389
SimplifiedLOF 23 0.25287 0.21360 0.20176 0.15980 0.32653 0.29113 0.73207
SimplifiedLOF 98 0.22989 0.18940 0.20025 0.15820 0.28856 0.25116 0.76411
LoOP 9 0.27586 0.23780 0.20864 0.16704 0.30000 0.26320 0.69803
LoOP 10 0.28736 0.24989 0.21497 0.17370 0.29139 0.25414 0.70898
LoOP 100 0.26437 0.22570 0.19143 0.14892 0.26816 0.22968 0.75263
LDOF 18 0.28736 0.24989 0.18630 0.14353 0.31633 0.28039 0.70368
LDOF 100 0.21839 0.17730 0.16702 0.12324 0.24742 0.20786 0.72009
ODIN 9 0.21392 0.17260 0.12064 0.07441 0.22727 0.18665 0.66093
ODIN 100 0.18851 0.14585 0.17216 0.12864 0.25532 0.21617 0.75198
FastABOD 10 0.28736 0.24989 0.21700 0.17584 0.31132 0.27512 0.76108
FastABOD 15 0.26437 0.22570 0.22115 0.18020 0.31068 0.27444 0.76214
FastABOD 31 0.27586 0.23780 0.21839 0.17730 0.30928 0.27297 0.76573
FastABOD 74 0.28736 0.24989 0.21757 0.17644 0.32195 0.28631 0.76513
KDEOS 16 0.12644 0.08052 0.10617 0.05918 0.20209 0.16015 0.67707
KDEOS 22 0.16092 0.11681 0.09705 0.04958 0.16374 0.11978 0.65610
KDEOS 100 0.12644 0.08052 0.09614 0.04863 0.18352 0.14060 0.70526
LDF 7 0.33333 0.29829 0.27954 0.24167 0.34783 0.31354 0.72663
LDF 96 0.31034 0.27409 0.27092 0.23260 0.34899 0.31477 0.78495
LDF 99 0.32184 0.28619 0.28182 0.24407 0.34722 0.31291 0.78755
LDF 100 0.32184 0.28619 0.28929 0.25193 0.34722 0.31291 0.78755
INFLO 8 0.26437 0.22570 0.20413 0.16229 0.28249 0.24477 0.71899
INFLO 11 0.27586 0.23780 0.19745 0.15526 0.28571 0.24817 0.70637
INFLO 100 0.26437 0.22570 0.20348 0.16161 0.27615 0.23810 0.77789
COF 21 0.34483 0.31039 0.23842 0.19838 0.35802 0.32428 0.73765
COF 31 0.29885 0.26199 0.27043 0.23208 0.33803 0.30323 0.75499
COF 48 0.29885 0.26199 0.30355 0.26694 0.33071 0.29553 0.74797
COF 81 0.32184 0.28619 0.28004 0.24219 0.36765 0.33441 0.71336

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 1734 objects, 86 outliers (4.96%)

Download raw algorithm results (15.0 MB) Download raw algorithm evaluation table (64.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.16279 0.11910 0.18698 0.14456 0.23958 0.19990 0.76366
KNN 4 0.19767 0.15581 0.14958 0.10520 0.21970 0.17898 0.74080
KNN 70 0.16279 0.11910 0.13155 0.08623 0.24339 0.20390 0.74514
KNNW 2 0.20930 0.16804 0.19981 0.15805 0.23868 0.19895 0.77374
KNNW 3 0.18605 0.14357 0.20153 0.15986 0.23125 0.19113 0.77059
KNNW 5 0.17442 0.13134 0.17445 0.13137 0.24506 0.20566 0.76132
LOF 9 0.26744 0.22921 0.18742 0.14502 0.29565 0.25890 0.71864
LOF 11 0.29070 0.25368 0.18130 0.13857 0.31183 0.27592 0.71275
LOF 100 0.18605 0.14357 0.14833 0.10388 0.24810 0.20886 0.79540
SimplifiedLOF 14 0.30233 0.26592 0.19562 0.15364 0.31646 0.28079 0.71177
SimplifiedLOF 16 0.29070 0.25368 0.19147 0.14927 0.32215 0.28677 0.70935
SimplifiedLOF 22 0.31395 0.27815 0.17599 0.13299 0.31395 0.27815 0.71785
SimplifiedLOF 99 0.18605 0.14357 0.14028 0.09542 0.22785 0.18755 0.74922
LoOP 17 0.24419 0.20474 0.18249 0.13982 0.28194 0.24447 0.70307
LoOP 20 0.27907 0.24145 0.17682 0.13386 0.29592 0.25918 0.69828
LoOP 95 0.19767 0.15581 0.14177 0.09699 0.22826 0.18799 0.72820
LDOF 18 0.25581 0.21698 0.17809 0.13520 0.26582 0.22751 0.64809
LDOF 21 0.26744 0.22921 0.15645 0.11243 0.28311 0.24569 0.65994
LDOF 22 0.25581 0.21698 0.15665 0.11264 0.28571 0.24844 0.66254
LDOF 100 0.17442 0.13134 0.14948 0.10510 0.24379 0.20433 0.74577
ODIN 46 0.22171 0.18109 0.17934 0.13652 0.22222 0.18163 0.71686
ODIN 67 0.19767 0.15581 0.19517 0.15317 0.24880 0.20960 0.72752
ODIN 97 0.22093 0.18027 0.20931 0.16805 0.23590 0.19602 0.74448
ODIN 100 0.22093 0.18027 0.20762 0.16627 0.23704 0.19722 0.74598
FastABOD 6 0.20930 0.16804 0.19133 0.14913 0.23415 0.19418 0.77367
FastABOD 15 0.19767 0.15581 0.19596 0.15400 0.25301 0.21403 0.78172
FastABOD 46 0.17442 0.13134 0.19148 0.14929 0.25974 0.22111 0.78455
FastABOD 91 0.17442 0.13134 0.18574 0.14325 0.25498 0.21610 0.78616
KDEOS 78 0.12791 0.08240 0.10017 0.05322 0.18333 0.14072 0.70575
KDEOS 85 0.11628 0.07016 0.10250 0.05566 0.19620 0.15426 0.71161
KDEOS 97 0.11628 0.07016 0.10961 0.06315 0.18428 0.14171 0.72142
KDEOS 100 0.09302 0.04569 0.10862 0.06210 0.18647 0.14402 0.72380
LDF 8 0.25581 0.21698 0.19320 0.15110 0.28326 0.24586 0.73518
LDF 11 0.17442 0.13134 0.19990 0.15814 0.25256 0.21355 0.73149
LDF 100 0.19767 0.15581 0.17261 0.12943 0.29379 0.25693 0.82374
INFLO 7 0.22093 0.18027 0.16679 0.12331 0.23529 0.19539 0.68433
INFLO 12 0.24419 0.20474 0.15478 0.11068 0.25080 0.21171 0.68186
INFLO 18 0.23256 0.19251 0.16038 0.11657 0.26621 0.22792 0.69317
INFLO 94 0.24419 0.20474 0.14168 0.09689 0.24706 0.20777 0.72610
COF 11 0.24419 0.20474 0.16614 0.12263 0.24818 0.20894 0.72127
COF 14 0.24419 0.20474 0.20853 0.16722 0.26846 0.23028 0.72782
COF 17 0.24419 0.20474 0.19598 0.15403 0.27835 0.24069 0.72626
COF 44 0.18605 0.14357 0.19986 0.15810 0.22368 0.18317 0.75394

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 1742 objects, 87 outliers (4.99%)

Download raw algorithm results (15.0 MB) Download raw algorithm evaluation table (66.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.24138 0.20150 0.21296 0.17158 0.27083 0.23250 0.77643
KNN 55 0.20690 0.16520 0.14084 0.09568 0.27103 0.23271 0.74151
KNNW 1 0.22989 0.18940 0.24117 0.20128 0.29108 0.25381 0.76672
KNNW 2 0.27586 0.23780 0.23610 0.19594 0.28743 0.24997 0.77689
LOF 6 0.27586 0.23780 0.20454 0.16272 0.31088 0.27466 0.72061
LOF 7 0.28736 0.24989 0.20264 0.16073 0.30476 0.26821 0.72163
LOF 12 0.25287 0.21360 0.20645 0.16473 0.26923 0.23082 0.72541
LOF 100 0.17241 0.12891 0.14960 0.10489 0.25749 0.21845 0.78410
SimplifiedLOF 9 0.29885 0.26199 0.21263 0.17124 0.30857 0.27222 0.71454
SimplifiedLOF 15 0.29885 0.26199 0.23409 0.19383 0.32298 0.28739 0.74586
SimplifiedLOF 30 0.25287 0.21360 0.18897 0.14634 0.26230 0.22352 0.75772
LoOP 13 0.31034 0.27409 0.22540 0.18468 0.31395 0.27789 0.72035
LoOP 14 0.29885 0.26199 0.22259 0.18172 0.31447 0.27843 0.72074
LoOP 31 0.24138 0.20150 0.18943 0.14682 0.27468 0.23655 0.74568
LDOF 20 0.24138 0.20150 0.19632 0.15408 0.24576 0.20611 0.67139
LDOF 26 0.25287 0.21360 0.18084 0.13777 0.26190 0.22310 0.68554
LDOF 31 0.24138 0.20150 0.18604 0.14325 0.26816 0.22968 0.70028
LDOF 99 0.17241 0.12891 0.16127 0.11718 0.25543 0.21629 0.74061
ODIN 8 0.26356 0.22485 0.15413 0.10967 0.27027 0.23191 0.70074
ODIN 62 0.21231 0.17090 0.19076 0.14822 0.29365 0.25652 0.73119
ODIN 99 0.23448 0.19424 0.19738 0.15519 0.27682 0.23880 0.74845
ODIN 100 0.23908 0.19908 0.19684 0.15462 0.27972 0.24186 0.74915
FastABOD 4 0.26437 0.22570 0.21598 0.17476 0.28477 0.24717 0.78309
FastABOD 5 0.21839 0.17730 0.22512 0.18439 0.28235 0.24463 0.77879
FastABOD 13 0.22989 0.18940 0.21044 0.16894 0.28856 0.25116 0.77428
KDEOS 86 0.20690 0.16520 0.15724 0.11294 0.23344 0.19314 0.73606
KDEOS 87 0.20690 0.16520 0.16131 0.11722 0.22785 0.18726 0.73776
KDEOS 99 0.20690 0.16520 0.16419 0.12026 0.23656 0.19643 0.73731
KDEOS 100 0.19540 0.15311 0.16471 0.12080 0.23488 0.19465 0.73763
LDF 8 0.27586 0.23780 0.19915 0.15705 0.28244 0.24472 0.74740
LDF 100 0.21839 0.17730 0.16309 0.11910 0.26295 0.22420 0.80990
INFLO 7 0.32184 0.28619 0.21436 0.17306 0.32258 0.28697 0.71257
INFLO 12 0.26437 0.22570 0.21511 0.17385 0.30088 0.26413 0.70527
INFLO 98 0.20690 0.16520 0.14758 0.10277 0.25073 0.21134 0.74356
COF 14 0.26437 0.22570 0.21282 0.17144 0.27778 0.23981 0.74156
COF 25 0.23563 0.19545 0.18654 0.14378 0.28452 0.24691 0.76451
COF 33 0.25287 0.21360 0.19420 0.15184 0.31799 0.28214 0.74818
COF 34 0.27586 0.23780 0.18553 0.14272 0.31050 0.27426 0.73698

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO