Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Cardiotocography (5% of outliers version#08)

Data set related to heart diseases. It describes 3 classes: normal, suspect, or pathological. Normal patients are treated as inliers and the remaining as outliers.

Download all data set variants used (8.8 MB). You can also access the original data. (CTG.xls)

Normalized, without duplicates

This version contains 21 attributes, 1734 objects, 86 outliers (4.96%)

Download raw algorithm results (15.0 MB) Download raw algorithm evaluation table (65.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 44 0.30233 0.26592 0.24259 0.20306 0.30233 0.26592 0.72207
KNN 72 0.29070 0.25368 0.26212 0.22362 0.31818 0.28260 0.73559
KNN 98 0.30233 0.26592 0.27351 0.23559 0.31515 0.27941 0.74852
KNN 100 0.30233 0.26592 0.27315 0.23522 0.31515 0.27941 0.74931
KNNW 4 0.29070 0.25368 0.21462 0.17364 0.30345 0.26710 0.68875
KNNW 8 0.30233 0.26592 0.22042 0.17974 0.30233 0.26592 0.67819
KNNW 100 0.29070 0.25368 0.24620 0.20687 0.29412 0.25728 0.72426
LOF 7 0.26744 0.22921 0.20326 0.16168 0.29897 0.26239 0.70458
LOF 8 0.26744 0.22921 0.20498 0.16349 0.30000 0.26347 0.70649
LOF 100 0.25581 0.21698 0.20874 0.16745 0.26341 0.22498 0.77502
SimplifiedLOF 9 0.31395 0.27815 0.23632 0.19647 0.32609 0.29092 0.69759
SimplifiedLOF 10 0.32558 0.29039 0.23365 0.19366 0.33735 0.30277 0.70425
SimplifiedLOF 11 0.32558 0.29039 0.23091 0.19077 0.33939 0.30492 0.70950
SimplifiedLOF 100 0.23256 0.19251 0.18749 0.14509 0.26230 0.22380 0.75362
LoOP 10 0.25581 0.21698 0.19402 0.15196 0.27273 0.23477 0.70021
LoOP 11 0.26744 0.22921 0.19209 0.14993 0.27711 0.23938 0.70468
LoOP 13 0.25581 0.21698 0.18843 0.14608 0.28877 0.25165 0.70986
LoOP 100 0.23256 0.19251 0.18564 0.14314 0.27368 0.23578 0.74292
LDOF 13 0.29070 0.25368 0.18714 0.14472 0.30120 0.26474 0.68582
LDOF 14 0.26744 0.22921 0.18946 0.14716 0.29412 0.25728 0.68438
LDOF 100 0.23256 0.19251 0.16952 0.12618 0.24375 0.20429 0.72501
ODIN 63 0.24419 0.20474 0.15332 0.10914 0.24561 0.20625 0.73687
ODIN 100 0.22093 0.18027 0.15452 0.11039 0.22222 0.18163 0.75788
FastABOD 4 0.18605 0.14357 0.12646 0.08087 0.21053 0.16933 0.71649
FastABOD 42 0.23256 0.19251 0.14535 0.10075 0.24893 0.20973 0.70602
FastABOD 93 0.23256 0.19251 0.15151 0.10723 0.25676 0.21797 0.70961
FastABOD 100 0.23256 0.19251 0.15218 0.10793 0.25641 0.21761 0.71016
KDEOS 30 0.12791 0.08240 0.09522 0.04800 0.18627 0.14381 0.66664
KDEOS 34 0.15116 0.10687 0.09663 0.04949 0.17125 0.12801 0.67054
KDEOS 39 0.13953 0.09463 0.10760 0.06103 0.17816 0.13527 0.67465
KDEOS 95 0.12791 0.08240 0.09695 0.04983 0.15966 0.11581 0.69080
LDF 83 0.36047 0.32709 0.26749 0.22927 0.36471 0.33155 0.75568
LDF 99 0.34884 0.31486 0.29598 0.25924 0.37736 0.34487 0.76361
LDF 100 0.36047 0.32709 0.29555 0.25879 0.38217 0.34992 0.76356
INFLO 86 0.25581 0.21698 0.19593 0.15397 0.26540 0.22707 0.75815
INFLO 97 0.23256 0.19251 0.20467 0.16316 0.27907 0.24145 0.77667
INFLO 100 0.23256 0.19251 0.20536 0.16389 0.27523 0.23741 0.77802
COF 13 0.26744 0.22921 0.24394 0.20448 0.30108 0.26460 0.69755
COF 14 0.29070 0.25368 0.23555 0.19565 0.30168 0.26523 0.69516
COF 17 0.29070 0.25368 0.21652 0.17563 0.30968 0.27365 0.67384
COF 53 0.20930 0.16804 0.17171 0.12849 0.22642 0.18605 0.70269

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 1742 objects, 87 outliers (4.99%)

Download raw algorithm results (15.1 MB) Download raw algorithm evaluation table (66.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.29885 0.26199 0.24659 0.20698 0.32353 0.28797 0.71037
KNN 81 0.32184 0.28619 0.24341 0.20364 0.32370 0.28815 0.72842
KNN 99 0.31034 0.27409 0.24617 0.20654 0.32584 0.29040 0.73341
KNN 100 0.31034 0.27409 0.24653 0.20693 0.32402 0.28849 0.73353
KNNW 3 0.31034 0.27409 0.24968 0.21024 0.32168 0.28602 0.71878
KNNW 4 0.31034 0.27409 0.25335 0.21410 0.33803 0.30323 0.71985
KNNW 100 0.27586 0.23780 0.23525 0.19504 0.30769 0.27130 0.72301
LOF 8 0.27586 0.23780 0.21202 0.17060 0.31683 0.28092 0.74615
LOF 11 0.31034 0.27409 0.21763 0.17651 0.31214 0.27598 0.76495
LOF 12 0.27586 0.23780 0.21827 0.17718 0.29268 0.25550 0.76265
LOF 100 0.22989 0.18940 0.19065 0.14810 0.26230 0.22352 0.77519
SimplifiedLOF 9 0.35632 0.32248 0.24603 0.20640 0.35838 0.32465 0.72103
SimplifiedLOF 12 0.34483 0.31039 0.26428 0.22560 0.37037 0.33727 0.73538
SimplifiedLOF 13 0.31034 0.27409 0.26942 0.23102 0.35176 0.31768 0.74524
SimplifiedLOF 100 0.24138 0.20150 0.19359 0.15120 0.26396 0.22527 0.75853
LoOP 10 0.27586 0.23780 0.20044 0.15841 0.32292 0.28732 0.72275
LoOP 11 0.31034 0.27409 0.20689 0.16520 0.32222 0.28659 0.72449
LoOP 13 0.27586 0.23780 0.22042 0.17943 0.32086 0.28515 0.73459
LoOP 100 0.25287 0.21360 0.18433 0.14146 0.27225 0.23400 0.74706
LDOF 17 0.26437 0.22570 0.19426 0.15191 0.28814 0.25071 0.68425
LDOF 18 0.29885 0.26199 0.19372 0.15133 0.30769 0.27130 0.68872
LDOF 22 0.27586 0.23780 0.18645 0.14368 0.31169 0.27551 0.68902
LDOF 99 0.24138 0.20150 0.17815 0.13494 0.28155 0.24379 0.73389
ODIN 71 0.20690 0.16520 0.14545 0.10052 0.22888 0.18835 0.71422
ODIN 99 0.19540 0.15311 0.15241 0.10786 0.24309 0.20330 0.72894
ODIN 100 0.19540 0.15311 0.15313 0.10861 0.24157 0.20170 0.72943
FastABOD 3 0.26437 0.22570 0.16374 0.11978 0.28272 0.24502 0.74209
FastABOD 19 0.25287 0.21360 0.18803 0.14535 0.27861 0.24068 0.75018
FastABOD 100 0.22989 0.18940 0.18536 0.14253 0.26452 0.22585 0.76007
KDEOS 23 0.14943 0.10471 0.11852 0.07218 0.17822 0.13502 0.69727
KDEOS 24 0.17241 0.12891 0.11753 0.07114 0.18085 0.13779 0.69854
KDEOS 99 0.09195 0.04422 0.10570 0.05869 0.19403 0.15166 0.71361
KDEOS 100 0.09195 0.04422 0.10706 0.06012 0.19403 0.15166 0.71523
LDF 6 0.36782 0.33458 0.30321 0.26658 0.36782 0.33458 0.73754
LDF 11 0.26437 0.22570 0.24542 0.20575 0.28571 0.24817 0.79797
INFLO 11 0.26437 0.22570 0.19024 0.14767 0.29677 0.25981 0.71181
INFLO 12 0.26437 0.22570 0.19111 0.14859 0.27053 0.23218 0.72844
INFLO 14 0.27586 0.23780 0.18703 0.14429 0.29268 0.25550 0.72552
INFLO 88 0.25287 0.21360 0.18197 0.13897 0.26897 0.23054 0.76091
COF 13 0.32184 0.28619 0.27898 0.24107 0.33333 0.29829 0.76195
COF 88 0.33333 0.29829 0.26574 0.22714 0.35065 0.31651 0.68981
COF 95 0.32184 0.28619 0.28895 0.25157 0.37681 0.34405 0.68054
COF 100 0.33333 0.29829 0.29682 0.25986 0.36923 0.33607 0.67622

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 1734 objects, 86 outliers (4.96%)

Download raw algorithm results (15.0 MB) Download raw algorithm evaluation table (66.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.19767 0.15581 0.18400 0.14141 0.22481 0.18435 0.76300
KNN 3 0.19767 0.15581 0.16183 0.11809 0.22711 0.18677 0.76864
KNN 55 0.18605 0.14357 0.16015 0.11632 0.28837 0.25124 0.76452
KNN 81 0.20930 0.16804 0.16244 0.11873 0.27778 0.24009 0.76644
KNNW 1 0.20930 0.16804 0.21440 0.17341 0.23129 0.19118 0.74439
KNNW 2 0.22093 0.18027 0.20717 0.16580 0.23881 0.19908 0.75229
KNNW 6 0.20930 0.16804 0.16913 0.12577 0.22727 0.18695 0.77215
KNNW 80 0.19767 0.15581 0.15855 0.11464 0.27027 0.23219 0.76752
LOF 8 0.29070 0.25368 0.21265 0.17157 0.32000 0.28451 0.74515
LOF 99 0.16279 0.11910 0.16490 0.12132 0.28242 0.24497 0.79999
SimplifiedLOF 11 0.27907 0.24145 0.22802 0.18774 0.30435 0.26805 0.75733
SimplifiedLOF 12 0.27907 0.24145 0.22588 0.18548 0.31169 0.27577 0.76226
SimplifiedLOF 13 0.29070 0.25368 0.22619 0.18581 0.30872 0.27265 0.76156
SimplifiedLOF 88 0.15116 0.10687 0.15673 0.11273 0.27797 0.24029 0.78101
LoOP 10 0.26744 0.22921 0.19269 0.15056 0.28750 0.25032 0.74204
LoOP 13 0.26744 0.22921 0.20077 0.15906 0.28777 0.25060 0.74409
LoOP 87 0.16279 0.11910 0.15552 0.11145 0.28070 0.24317 0.76734
LDOF 16 0.27907 0.24145 0.19763 0.15576 0.30464 0.26835 0.69173
LDOF 17 0.27907 0.24145 0.19840 0.15657 0.29677 0.26008 0.69934
LDOF 98 0.22093 0.18027 0.15933 0.11546 0.27273 0.23477 0.77045
ODIN 7 0.21564 0.17471 0.12810 0.08260 0.21935 0.17862 0.71066
ODIN 92 0.20930 0.16804 0.15605 0.11201 0.29236 0.25543 0.77369
ODIN 100 0.21124 0.17008 0.15691 0.11291 0.27937 0.24176 0.77516
FastABOD 9 0.22093 0.18027 0.17525 0.13221 0.22759 0.18728 0.74380
FastABOD 10 0.22093 0.18027 0.17746 0.13453 0.23026 0.19009 0.74425
FastABOD 55 0.18605 0.14357 0.16846 0.12506 0.25253 0.21352 0.74724
FastABOD 100 0.18605 0.14357 0.16917 0.12581 0.24121 0.20161 0.74890
KDEOS 90 0.17442 0.13134 0.15167 0.10740 0.21600 0.17509 0.76705
KDEOS 93 0.18605 0.14357 0.14916 0.10476 0.22422 0.18373 0.76656
KDEOS 100 0.16279 0.11910 0.14582 0.10124 0.23188 0.19180 0.76114
LDF 9 0.22093 0.18027 0.20121 0.15953 0.23529 0.19539 0.76257
LDF 84 0.26744 0.22921 0.18149 0.13878 0.29740 0.26073 0.80382
LDF 99 0.25581 0.21698 0.19080 0.14857 0.31373 0.27791 0.81183
INFLO 7 0.24419 0.20474 0.20392 0.16238 0.28947 0.25240 0.70283
INFLO 8 0.29070 0.25368 0.20087 0.15917 0.29947 0.26291 0.70907
INFLO 46 0.17442 0.13134 0.15624 0.11221 0.27650 0.23874 0.75643
COF 7 0.24419 0.20474 0.16824 0.12484 0.25714 0.21838 0.72447
COF 11 0.22093 0.18027 0.17451 0.13143 0.25574 0.21690 0.73422
COF 16 0.17442 0.13134 0.15526 0.11118 0.24828 0.20905 0.74647
COF 34 0.20930 0.16804 0.14657 0.10203 0.26054 0.22195 0.70889

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 1742 objects, 87 outliers (4.99%)

Download raw algorithm results (15.0 MB) Download raw algorithm evaluation table (67.0 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.20690 0.16520 0.16965 0.12600 0.26786 0.22937 0.72677
KNN 2 0.21839 0.17730 0.15985 0.11568 0.24793 0.20840 0.73264
KNN 6 0.24138 0.20150 0.14116 0.09601 0.24277 0.20297 0.71847
KNNW 1 0.25287 0.21360 0.21842 0.17733 0.26506 0.22643 0.76719
KNNW 2 0.22989 0.18940 0.20086 0.15885 0.26738 0.22887 0.75243
LOF 7 0.29885 0.26199 0.21457 0.17328 0.30337 0.26675 0.73249
LOF 8 0.29885 0.26199 0.23304 0.19273 0.31646 0.28052 0.72716
LOF 100 0.19540 0.15311 0.14604 0.10115 0.25688 0.21782 0.77730
SimplifiedLOF 7 0.26437 0.22570 0.21645 0.17526 0.31343 0.27734 0.69222
SimplifiedLOF 11 0.28736 0.24989 0.22769 0.18709 0.30573 0.26924 0.73570
SimplifiedLOF 13 0.27586 0.23780 0.24132 0.20144 0.30872 0.27239 0.74867
SimplifiedLOF 22 0.26437 0.22570 0.18809 0.14541 0.28571 0.24817 0.75476
LoOP 10 0.28736 0.24989 0.19122 0.14870 0.29379 0.25666 0.69781
LoOP 12 0.28736 0.24989 0.19949 0.15741 0.29586 0.25884 0.72380
LoOP 17 0.25287 0.21360 0.19205 0.14957 0.26829 0.22983 0.73091
LDOF 16 0.27586 0.23780 0.18631 0.14354 0.30189 0.26519 0.65136
LDOF 98 0.17241 0.12891 0.14330 0.09826 0.26957 0.23117 0.72754
ODIN 70 0.19253 0.15008 0.15836 0.11412 0.27434 0.23619 0.71898
ODIN 99 0.21839 0.17730 0.16717 0.12338 0.25472 0.21554 0.74263
ODIN 100 0.21839 0.17730 0.16736 0.12359 0.25253 0.21323 0.74263
FastABOD 4 0.24138 0.20150 0.15217 0.10760 0.24706 0.20748 0.74360
FastABOD 5 0.22989 0.18940 0.16884 0.12515 0.25000 0.21057 0.74973
FastABOD 39 0.20690 0.16520 0.16553 0.12166 0.26496 0.22632 0.75625
FastABOD 99 0.20690 0.16520 0.16597 0.12213 0.25781 0.21880 0.75925
KDEOS 75 0.14943 0.10471 0.11479 0.06825 0.20513 0.16334 0.72112
KDEOS 99 0.12644 0.08052 0.12665 0.08074 0.24189 0.20204 0.73383
KDEOS 100 0.13793 0.09261 0.12686 0.08096 0.24096 0.20106 0.73353
LDF 8 0.29885 0.26199 0.27973 0.24187 0.34146 0.30685 0.75638
LDF 9 0.31034 0.27409 0.27901 0.24111 0.33898 0.30423 0.74304
LDF 100 0.22989 0.18940 0.15724 0.11293 0.26455 0.22589 0.79794
INFLO 6 0.28736 0.24989 0.19663 0.15440 0.29126 0.25401 0.66781
INFLO 7 0.28736 0.24989 0.20324 0.16136 0.29348 0.25634 0.67810
INFLO 8 0.25287 0.21360 0.21908 0.17803 0.29008 0.25276 0.68443
INFLO 73 0.19540 0.15311 0.14196 0.09685 0.25623 0.21713 0.73789
COF 7 0.26437 0.22570 0.16018 0.11603 0.26744 0.22893 0.70796
COF 15 0.25287 0.21360 0.21422 0.17292 0.26846 0.23000 0.75629
COF 18 0.22989 0.18940 0.19421 0.15185 0.27609 0.23804 0.76295
COF 20 0.24138 0.20150 0.18069 0.13762 0.27948 0.24160 0.76096

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO