Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Cardiotocography (5% of outliers version#05)

Data set related to heart diseases. It describes 3 classes: normal, suspect, or pathological. Normal patients are treated as inliers and the remaining as outliers.

Download all data set variants used (8.8 MB). You can also access the original data. (CTG.xls)

Normalized, without duplicates

This version contains 21 attributes, 1734 objects, 86 outliers (4.96%)

Download raw algorithm results (15.0 MB) Download raw algorithm evaluation table (65.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.31395 0.27815 0.27078 0.23273 0.34177 0.30742 0.71785
KNN 99 0.31395 0.27815 0.29885 0.26226 0.33600 0.30135 0.76418
KNN 100 0.31395 0.27815 0.29878 0.26218 0.33600 0.30135 0.76432
KNNW 3 0.31395 0.27815 0.24546 0.20608 0.34483 0.31064 0.72588
KNNW 6 0.32558 0.29039 0.26973 0.23163 0.32941 0.29442 0.72139
KNNW 100 0.30233 0.26592 0.27928 0.24167 0.33083 0.29591 0.75255
LOF 36 0.18605 0.14357 0.18427 0.14171 0.27907 0.24145 0.74921
LOF 100 0.25581 0.21698 0.22522 0.18479 0.25731 0.21855 0.78516
SimplifiedLOF 10 0.29070 0.25368 0.19780 0.15594 0.29586 0.25911 0.70953
SimplifiedLOF 13 0.27907 0.24145 0.20280 0.16120 0.31633 0.28065 0.71745
SimplifiedLOF 99 0.24419 0.20474 0.20932 0.16805 0.25306 0.21408 0.76262
SimplifiedLOF 100 0.24419 0.20474 0.20859 0.16729 0.25410 0.21517 0.76305
LoOP 11 0.25581 0.21698 0.16891 0.12554 0.26606 0.22775 0.70258
LoOP 46 0.22093 0.18027 0.18133 0.13860 0.28226 0.24480 0.72552
LoOP 99 0.23256 0.19251 0.20060 0.15888 0.25664 0.21785 0.75634
LoOP 100 0.24419 0.20474 0.20035 0.15862 0.25664 0.21785 0.75699
LDOF 50 0.20930 0.16804 0.17767 0.13476 0.28346 0.24607 0.70480
LDOF 72 0.25581 0.21698 0.18730 0.14489 0.25989 0.22126 0.71342
LDOF 98 0.22093 0.18027 0.20115 0.15946 0.26291 0.22445 0.72451
LDOF 100 0.22093 0.18027 0.19777 0.15590 0.26540 0.22707 0.72590
ODIN 56 0.21109 0.16992 0.13898 0.09404 0.21176 0.17063 0.73148
ODIN 100 0.17700 0.13405 0.16227 0.11855 0.24506 0.20566 0.75803
FastABOD 5 0.26744 0.22921 0.17475 0.13168 0.27551 0.23770 0.71733
FastABOD 15 0.25581 0.21698 0.18465 0.14211 0.29358 0.25671 0.73999
FastABOD 100 0.26744 0.22921 0.18176 0.13906 0.28772 0.25055 0.75918
KDEOS 19 0.18605 0.14357 0.11000 0.06356 0.21320 0.17214 0.66019
KDEOS 20 0.20930 0.16804 0.12581 0.08019 0.21302 0.17195 0.65895
KDEOS 99 0.11628 0.07016 0.09436 0.04710 0.19540 0.15341 0.71021
LDF 84 0.36047 0.32709 0.29533 0.25855 0.37662 0.34409 0.77358
LDF 85 0.36047 0.32709 0.29637 0.25965 0.38095 0.34865 0.77328
LDF 100 0.34884 0.31486 0.32137 0.28596 0.37975 0.34738 0.77697
INFLO 7 0.23256 0.19251 0.14627 0.10172 0.24581 0.20645 0.67309
INFLO 98 0.22093 0.18027 0.21301 0.17194 0.27586 0.23807 0.77398
INFLO 100 0.22093 0.18027 0.21575 0.17483 0.26866 0.23049 0.77991
COF 34 0.27907 0.24145 0.25511 0.21624 0.32000 0.28451 0.70306
COF 39 0.27907 0.24145 0.24480 0.20539 0.33071 0.29578 0.70811
COF 40 0.29070 0.25368 0.24391 0.20445 0.31579 0.28008 0.71435
COF 82 0.25581 0.21698 0.21863 0.17786 0.26829 0.23011 0.73376

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 1742 objects, 87 outliers (4.99%)

Download raw algorithm results (15.1 MB) Download raw algorithm evaluation table (66.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.32184 0.28619 0.25341 0.21417 0.33083 0.29565 0.73445
KNN 97 0.32184 0.28619 0.27927 0.24138 0.33708 0.30223 0.74546
KNN 98 0.32184 0.28619 0.27900 0.24109 0.34444 0.30998 0.74596
KNN 100 0.32184 0.28619 0.27915 0.24126 0.34066 0.30600 0.74664
KNNW 5 0.29885 0.26199 0.25019 0.21078 0.32407 0.28854 0.72205
KNNW 98 0.32184 0.28619 0.25601 0.21690 0.32184 0.28619 0.73434
KNNW 100 0.32184 0.28619 0.25627 0.21718 0.32370 0.28815 0.73469
LOF 4 0.27586 0.23780 0.16393 0.11998 0.28916 0.25179 0.66793
LOF 100 0.25287 0.21360 0.20397 0.16212 0.25882 0.21986 0.78662
SimplifiedLOF 9 0.31034 0.27409 0.20510 0.16332 0.32051 0.28479 0.70287
SimplifiedLOF 100 0.22989 0.18940 0.18730 0.14458 0.26804 0.22956 0.76046
LoOP 9 0.28736 0.24989 0.17933 0.13619 0.30000 0.26320 0.69766
LoOP 100 0.24138 0.20150 0.18134 0.13831 0.27027 0.23191 0.74928
LDOF 13 0.28736 0.24989 0.15618 0.11183 0.29412 0.25701 0.66838
LDOF 96 0.21839 0.17730 0.16301 0.11902 0.24771 0.20816 0.72771
LDOF 98 0.21839 0.17730 0.16132 0.11723 0.24731 0.20774 0.72940
ODIN 96 0.19668 0.15445 0.14517 0.10024 0.23171 0.19132 0.74444
ODIN 100 0.19540 0.15311 0.14855 0.10379 0.23904 0.19904 0.74722
FastABOD 57 0.28736 0.24989 0.17862 0.13544 0.29319 0.25604 0.75636
FastABOD 89 0.28736 0.24989 0.18170 0.13868 0.30189 0.26519 0.75813
FastABOD 100 0.28736 0.24989 0.18360 0.14068 0.30000 0.26320 0.75902
KDEOS 24 0.11494 0.06842 0.10740 0.06048 0.17450 0.13110 0.68055
KDEOS 25 0.13793 0.09261 0.10201 0.05480 0.17921 0.13606 0.68509
KDEOS 100 0.10345 0.05632 0.10216 0.05496 0.18868 0.14603 0.71418
LDF 82 0.33333 0.29829 0.26262 0.22385 0.36601 0.33269 0.77403
LDF 93 0.33333 0.29829 0.28198 0.24423 0.36943 0.33628 0.77462
LDF 100 0.33333 0.29829 0.28718 0.24971 0.35897 0.32528 0.77501
INFLO 7 0.25287 0.21360 0.16577 0.12191 0.27660 0.23857 0.69469
INFLO 96 0.25287 0.21360 0.19017 0.14760 0.27397 0.23581 0.76625
INFLO 98 0.26437 0.22570 0.18981 0.14722 0.27523 0.23713 0.76159
INFLO 100 0.25287 0.21360 0.19188 0.14940 0.27556 0.23747 0.76157
COF 14 0.28736 0.24989 0.17828 0.13508 0.32743 0.29208 0.70890
COF 48 0.25287 0.21360 0.21985 0.17884 0.27322 0.23502 0.72867
COF 78 0.31034 0.27409 0.23288 0.19255 0.31515 0.27915 0.69744
COF 89 0.31034 0.27409 0.24165 0.20178 0.31515 0.27915 0.69684

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 1734 objects, 86 outliers (4.96%)

Download raw algorithm results (15.0 MB) Download raw algorithm evaluation table (65.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.22093 0.18027 0.18170 0.13900 0.28070 0.24317 0.76840
KNNW 2 0.19767 0.15581 0.19011 0.14784 0.26471 0.22633 0.76764
KNNW 3 0.18605 0.14357 0.19298 0.15087 0.27642 0.23866 0.77171
KNNW 6 0.19767 0.15581 0.16186 0.11812 0.27966 0.24207 0.76392
LOF 5 0.20930 0.16804 0.14285 0.09812 0.21374 0.17271 0.69270
LOF 6 0.19767 0.15581 0.14714 0.10263 0.24638 0.20705 0.70688
LOF 90 0.17442 0.13134 0.14068 0.09584 0.24934 0.21016 0.77754
LOF 100 0.17442 0.13134 0.14260 0.09786 0.24623 0.20690 0.78324
SimplifiedLOF 9 0.19767 0.15581 0.14881 0.10439 0.21106 0.16988 0.69320
SimplifiedLOF 10 0.19767 0.15581 0.15021 0.10587 0.22400 0.18350 0.70145
SimplifiedLOF 24 0.15116 0.10687 0.12968 0.08426 0.23691 0.19709 0.72629
SimplifiedLOF 100 0.16279 0.11910 0.13066 0.08529 0.23077 0.19063 0.73817
LoOP 6 0.16279 0.11910 0.13836 0.09340 0.20886 0.16758 0.68383
LoOP 7 0.17442 0.13134 0.13551 0.09040 0.20388 0.16234 0.68163
LoOP 94 0.15116 0.10687 0.12587 0.08025 0.22930 0.18908 0.72376
LoOP 100 0.16279 0.11910 0.12595 0.08034 0.23333 0.19333 0.72357
LDOF 18 0.20930 0.16804 0.13870 0.09375 0.25126 0.21218 0.62810
LDOF 20 0.22093 0.18027 0.13956 0.09466 0.24870 0.20950 0.63650
LDOF 100 0.16279 0.11910 0.13564 0.09054 0.23438 0.19442 0.72911
ODIN 7 0.18226 0.13959 0.09301 0.04568 0.18333 0.14072 0.62329
ODIN 98 0.16279 0.11910 0.16582 0.12228 0.24259 0.20306 0.73348
ODIN 100 0.17151 0.12828 0.16348 0.11983 0.24242 0.20289 0.73648
FastABOD 4 0.16279 0.11910 0.17397 0.13086 0.21530 0.17435 0.73264
FastABOD 6 0.18605 0.14357 0.16985 0.12653 0.21970 0.17898 0.73875
FastABOD 98 0.18605 0.14357 0.16221 0.11849 0.23577 0.19589 0.74769
FastABOD 100 0.18605 0.14357 0.16211 0.11838 0.23577 0.19589 0.74771
KDEOS 18 0.12791 0.08240 0.11360 0.06734 0.17391 0.13080 0.67749
KDEOS 22 0.11628 0.07016 0.10357 0.05679 0.18954 0.14725 0.67669
KDEOS 100 0.11628 0.07016 0.10524 0.05854 0.18286 0.14021 0.71718
LDF 7 0.25581 0.21698 0.18175 0.13905 0.27966 0.24207 0.78174
LDF 8 0.24419 0.20474 0.19862 0.15680 0.28188 0.24440 0.76882
LDF 100 0.19767 0.15581 0.15713 0.11314 0.27246 0.23450 0.81645
INFLO 5 0.13953 0.09463 0.14123 0.09641 0.20468 0.16317 0.65116
INFLO 7 0.20930 0.16804 0.13891 0.09397 0.22340 0.18288 0.65958
INFLO 94 0.16279 0.11910 0.13025 0.08487 0.22709 0.18676 0.72149
INFLO 98 0.16279 0.11910 0.12909 0.08364 0.23077 0.19063 0.70908
COF 25 0.20930 0.16804 0.14861 0.10418 0.23158 0.19148 0.73138
COF 29 0.24419 0.20474 0.14858 0.10415 0.24706 0.20777 0.71048
COF 35 0.23256 0.19251 0.15692 0.11292 0.26531 0.22697 0.70497
COF 50 0.20930 0.16804 0.17421 0.13112 0.24211 0.20255 0.69622

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 1742 objects, 87 outliers (4.99%)

Download raw algorithm results (15.0 MB) Download raw algorithm evaluation table (67.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.18391 0.14101 0.19456 0.15222 0.23729 0.19719 0.76611
KNN 4 0.21839 0.17730 0.16833 0.12462 0.22961 0.18911 0.75016
KNN 67 0.20690 0.16520 0.14808 0.10330 0.28444 0.24683 0.75239
KNNW 2 0.22989 0.18940 0.20328 0.16140 0.25197 0.21265 0.77218
KNNW 3 0.20690 0.16520 0.19252 0.15007 0.24590 0.20626 0.77322
KNNW 99 0.19540 0.15311 0.14897 0.10423 0.27074 0.23241 0.75461
LOF 8 0.26437 0.22570 0.18270 0.13974 0.28369 0.24603 0.70598
LOF 13 0.22989 0.18940 0.19991 0.15785 0.25352 0.21428 0.73900
LOF 99 0.19540 0.15311 0.15371 0.10922 0.25959 0.22067 0.79744
SimplifiedLOF 18 0.26437 0.22570 0.19627 0.15402 0.27143 0.23313 0.74359
SimplifiedLOF 20 0.27586 0.23780 0.19335 0.15095 0.27807 0.24012 0.74716
SimplifiedLOF 22 0.24138 0.20150 0.18673 0.14398 0.28767 0.25023 0.75327
SimplifiedLOF 99 0.19540 0.15311 0.15232 0.10776 0.25850 0.21952 0.76146
LoOP 9 0.24138 0.20150 0.17373 0.13029 0.25510 0.21594 0.69108
LoOP 13 0.24138 0.20150 0.18387 0.14097 0.26866 0.23021 0.70114
LoOP 17 0.22989 0.18940 0.19391 0.15153 0.26446 0.22580 0.71938
LoOP 91 0.19540 0.15311 0.16090 0.11679 0.25263 0.21334 0.75013
LDOF 17 0.25287 0.21360 0.16450 0.12058 0.25641 0.21732 0.66574
LDOF 53 0.24138 0.20150 0.16584 0.12199 0.27174 0.23346 0.72404
LDOF 89 0.21839 0.17730 0.16886 0.12517 0.26042 0.22154 0.74631
LDOF 100 0.17241 0.12891 0.16684 0.12304 0.26042 0.22154 0.75051
ODIN 55 0.20977 0.16823 0.19478 0.15245 0.24679 0.20719 0.74298
ODIN 81 0.18774 0.14504 0.19991 0.15785 0.25389 0.21466 0.75656
ODIN 100 0.18391 0.14101 0.20873 0.16713 0.24798 0.20845 0.76503
FastABOD 4 0.22989 0.18940 0.17586 0.13253 0.23952 0.19954 0.75616
FastABOD 5 0.21839 0.17730 0.19309 0.15068 0.24576 0.20611 0.76304
FastABOD 77 0.18391 0.14101 0.18598 0.14319 0.27106 0.23274 0.77630
FastABOD 96 0.18391 0.14101 0.18585 0.14305 0.26515 0.22652 0.77744
KDEOS 86 0.14943 0.10471 0.12289 0.07678 0.19767 0.15550 0.73259
KDEOS 89 0.13793 0.09261 0.12601 0.08006 0.20238 0.16045 0.73565
KDEOS 100 0.13793 0.09261 0.12503 0.07903 0.21260 0.17121 0.74449
LDF 12 0.19540 0.15311 0.18844 0.14578 0.24638 0.20676 0.75938
LDF 91 0.26437 0.22570 0.16578 0.12192 0.26882 0.23038 0.81308
LDF 99 0.25287 0.21360 0.17007 0.12644 0.28571 0.24817 0.81710
INFLO 8 0.27586 0.23780 0.19305 0.15063 0.29032 0.25302 0.69306
INFLO 11 0.27586 0.23780 0.19839 0.15625 0.30464 0.26808 0.72836
INFLO 62 0.17241 0.12891 0.15773 0.11345 0.24519 0.20551 0.74720
COF 15 0.22989 0.18940 0.18163 0.13861 0.23256 0.19222 0.69779
COF 39 0.18391 0.14101 0.20472 0.16291 0.27211 0.23385 0.75900
COF 57 0.17241 0.12891 0.17433 0.13093 0.28966 0.25231 0.76341
COF 65 0.16092 0.11681 0.16580 0.12195 0.26623 0.22766 0.76882

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO