Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Cardiotocography (2% of outliers version#05)

Data set related to heart diseases. It describes 3 classes: normal, suspect, or pathological. Normal patients are treated as inliers and the remaining as outliers.

Download all data set variants used (8.8 MB). You can also access the original data. (CTG.xls)

Normalized, without duplicates

This version contains 21 attributes, 1681 objects, 33 outliers (1.96%)

Download raw algorithm results (14.6 MB) Download raw algorithm evaluation table (59.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 42 0.24242 0.22725 0.13900 0.12176 0.24615 0.23106 0.79114
KNN 78 0.24242 0.22725 0.15603 0.13913 0.27586 0.26136 0.79748
KNN 94 0.24242 0.22725 0.15776 0.14090 0.27586 0.26136 0.80182
KNN 96 0.24242 0.22725 0.15741 0.14054 0.27119 0.25659 0.80215
KNNW 2 0.21212 0.19634 0.16339 0.14664 0.23529 0.21998 0.77925
KNNW 3 0.21212 0.19634 0.16346 0.14670 0.23423 0.21890 0.77692
KNNW 5 0.21212 0.19634 0.15439 0.13746 0.24561 0.23051 0.77142
KNNW 100 0.21212 0.19634 0.14561 0.12850 0.23881 0.22356 0.79442
LOF 2 0.15152 0.13452 0.10381 0.08586 0.18182 0.16543 0.68277
LOF 5 0.15152 0.13452 0.11144 0.09365 0.22857 0.21312 0.76443
LOF 7 0.12121 0.10362 0.12838 0.11093 0.22059 0.20498 0.78323
LOF 99 0.15152 0.13452 0.12104 0.10344 0.19753 0.18146 0.81967
SimplifiedLOF 2 0.18182 0.16543 0.11940 0.10176 0.22857 0.21312 0.66922
SimplifiedLOF 9 0.18182 0.16543 0.15344 0.13649 0.24561 0.23051 0.83256
SimplifiedLOF 10 0.15152 0.13452 0.15163 0.13464 0.24299 0.22783 0.83604
SimplifiedLOF 19 0.15152 0.13452 0.14007 0.12285 0.27119 0.25659 0.83061
LoOP 4 0.18182 0.16543 0.10970 0.09187 0.19672 0.18064 0.76320
LoOP 8 0.18182 0.16543 0.14986 0.13284 0.23529 0.21998 0.82771
LoOP 10 0.15152 0.13452 0.14043 0.12322 0.25000 0.23498 0.83501
LoOP 13 0.15152 0.13452 0.13323 0.11587 0.25197 0.23699 0.82752
LDOF 7 0.21212 0.19634 0.12724 0.10977 0.22535 0.20984 0.78891
LDOF 8 0.21212 0.19634 0.13566 0.11835 0.23529 0.21998 0.79963
LDOF 11 0.21212 0.19634 0.13128 0.11389 0.25000 0.23498 0.79985
LDOF 100 0.09091 0.07271 0.10679 0.08890 0.18182 0.16543 0.82627
ODIN 29 0.13191 0.11452 0.08772 0.06945 0.20619 0.19029 0.79762
ODIN 50 0.15758 0.14071 0.09542 0.07730 0.17722 0.16074 0.82168
ODIN 57 0.14394 0.12680 0.09683 0.07874 0.19444 0.17831 0.82685
ODIN 89 0.08264 0.06428 0.08927 0.07103 0.17647 0.15998 0.83649
FastABOD 3 0.18182 0.16543 0.12714 0.10966 0.23377 0.21842 0.84492
FastABOD 5 0.15152 0.13452 0.16350 0.14675 0.22556 0.21006 0.81712
FastABOD 86 0.18182 0.16543 0.14414 0.12700 0.26549 0.25078 0.80450
KDEOS 10 0.15152 0.13452 0.13011 0.11269 0.19048 0.17427 0.76925
KDEOS 15 0.21212 0.19634 0.11778 0.10011 0.22857 0.21312 0.76905
KDEOS 89 0.03030 0.01089 0.06491 0.04619 0.14747 0.13039 0.81151
LDF 93 0.30303 0.28907 0.21978 0.20415 0.32000 0.30638 0.78389
LDF 94 0.30303 0.28907 0.22423 0.20869 0.32653 0.31304 0.78400
LDF 95 0.30303 0.28907 0.23582 0.22052 0.32653 0.31304 0.78429
LDF 97 0.27273 0.25816 0.23183 0.21644 0.32653 0.31304 0.78525
INFLO 3 0.18182 0.16543 0.13349 0.11614 0.21429 0.19855 0.79023
INFLO 5 0.18182 0.16543 0.12359 0.10604 0.22857 0.21312 0.84823
INFLO 8 0.15152 0.13452 0.13896 0.12172 0.20202 0.18604 0.85643
COF 7 0.21212 0.19634 0.22179 0.20620 0.28571 0.27141 0.77948
COF 9 0.30303 0.28907 0.22610 0.21060 0.33898 0.32575 0.77633

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 1688 objects, 33 outliers (1.95%)

Download raw algorithm results (14.6 MB) Download raw algorithm evaluation table (58.5 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.21212 0.19641 0.13384 0.11657 0.25455 0.23968 0.70752
KNN 95 0.21212 0.19641 0.21157 0.19585 0.24113 0.22600 0.83362
KNN 96 0.21212 0.19641 0.21169 0.19597 0.24460 0.22954 0.83358
KNNW 1 0.24242 0.22732 0.16399 0.14732 0.30137 0.28744 0.70467
KNNW 100 0.15152 0.13460 0.15729 0.14049 0.20000 0.18405 0.81796
LOF 6 0.33333 0.32004 0.16793 0.15134 0.35714 0.34432 0.64989
LOF 8 0.27273 0.25823 0.18929 0.17312 0.31111 0.29737 0.67577
LOF 100 0.12121 0.10369 0.13183 0.11452 0.19048 0.17433 0.84334
SimplifiedLOF 8 0.30303 0.28913 0.18160 0.16528 0.35294 0.34004 0.65740
SimplifiedLOF 9 0.30303 0.28913 0.21402 0.19835 0.39216 0.38004 0.65530
SimplifiedLOF 100 0.15152 0.13460 0.12830 0.11092 0.19512 0.17907 0.81642
LoOP 7 0.27273 0.25823 0.14003 0.12288 0.29508 0.28103 0.66852
LoOP 9 0.27273 0.25823 0.16974 0.15319 0.36735 0.35473 0.68114
LoOP 11 0.27273 0.25823 0.17308 0.15659 0.31579 0.30215 0.67574
LoOP 100 0.15152 0.13460 0.12756 0.11017 0.19512 0.17907 0.80455
LDOF 16 0.27273 0.25823 0.15379 0.13692 0.29167 0.27754 0.67657
LDOF 21 0.27273 0.25823 0.17990 0.16354 0.32000 0.30644 0.66546
LDOF 22 0.27273 0.25823 0.17344 0.15696 0.35294 0.34004 0.65984
LDOF 100 0.15152 0.13460 0.11039 0.09265 0.19512 0.17907 0.76252
ODIN 30 0.22054 0.20500 0.09045 0.07232 0.22951 0.21414 0.71747
ODIN 58 0.21212 0.19641 0.09592 0.07789 0.23729 0.22208 0.75495
ODIN 100 0.18182 0.16550 0.12144 0.10393 0.21277 0.19707 0.80296
FastABOD 5 0.21212 0.19641 0.15957 0.14282 0.27273 0.25823 0.72097
FastABOD 6 0.21212 0.19641 0.15872 0.14194 0.29167 0.27754 0.72251
FastABOD 12 0.24242 0.22732 0.14150 0.12438 0.24242 0.22732 0.73956
FastABOD 100 0.18182 0.16550 0.12764 0.11024 0.20455 0.18868 0.78017
KDEOS 13 0.12121 0.10369 0.04876 0.02980 0.12308 0.10559 0.63669
KDEOS 22 0.09091 0.07278 0.10378 0.08591 0.15385 0.13697 0.66405
KDEOS 72 0.09091 0.07278 0.06137 0.04265 0.15517 0.13833 0.68987
KDEOS 95 0.09091 0.07278 0.05946 0.04070 0.13889 0.12172 0.70843
LDF 88 0.27273 0.25823 0.20969 0.19394 0.32184 0.30832 0.83669
LDF 90 0.27273 0.25823 0.21078 0.19504 0.32911 0.31574 0.83781
LDF 95 0.24242 0.22732 0.21274 0.19704 0.31461 0.30094 0.83818
LDF 100 0.24242 0.22732 0.22172 0.20620 0.32258 0.30907 0.83527
INFLO 6 0.30303 0.28913 0.14272 0.12563 0.33962 0.32645 0.67860
INFLO 9 0.24242 0.22732 0.16638 0.14976 0.28571 0.27147 0.69858
INFLO 95 0.15152 0.13460 0.13496 0.11771 0.20690 0.19108 0.81844
COF 6 0.30303 0.28913 0.11827 0.10069 0.31250 0.29879 0.64293
COF 9 0.30303 0.28913 0.25739 0.24258 0.40816 0.39636 0.63638
COF 11 0.30303 0.28913 0.26946 0.25489 0.38095 0.36861 0.63327
COF 84 0.09091 0.07278 0.11136 0.09364 0.15584 0.13901 0.78755

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 1681 objects, 33 outliers (1.96%)

Download raw algorithm results (14.5 MB) Download raw algorithm evaluation table (60.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.12121 0.10362 0.08184 0.06346 0.20168 0.18569 0.82838
KNN 39 0.03030 0.01089 0.07984 0.06142 0.21898 0.20334 0.81059
KNN 93 0.03030 0.01089 0.08226 0.06388 0.20979 0.19397 0.81441
KNNW 1 0.15152 0.13452 0.08464 0.06631 0.19149 0.17530 0.77552
KNNW 2 0.15152 0.13452 0.08571 0.06741 0.18557 0.16926 0.82162
KNNW 3 0.12121 0.10362 0.08535 0.06703 0.19549 0.17938 0.82682
KNNW 91 0.03030 0.01089 0.08018 0.06176 0.21739 0.20172 0.81244
LOF 6 0.24242 0.22725 0.10361 0.08566 0.25974 0.24492 0.75719
LOF 8 0.21212 0.19634 0.12255 0.10498 0.25000 0.23498 0.80849
LOF 100 0.06061 0.04180 0.08764 0.06937 0.18440 0.16807 0.85865
SimplifiedLOF 12 0.12121 0.10362 0.12716 0.10968 0.23656 0.22127 0.85597
SimplifiedLOF 13 0.21212 0.19634 0.12221 0.10464 0.21212 0.19634 0.86001
SimplifiedLOF 18 0.09091 0.07271 0.10942 0.09159 0.25581 0.24091 0.87403
SimplifiedLOF 19 0.09091 0.07271 0.10537 0.08745 0.21505 0.19934 0.87454
LoOP 8 0.18182 0.16543 0.09998 0.08196 0.18750 0.17123 0.81606
LoOP 13 0.18182 0.16543 0.11092 0.09311 0.18405 0.16771 0.84918
LoOP 19 0.09091 0.07271 0.09152 0.07333 0.17978 0.16335 0.85777
LoOP 89 0.06061 0.04180 0.08508 0.06676 0.20619 0.19029 0.84446
LDOF 17 0.18182 0.16543 0.12333 0.10578 0.22917 0.21373 0.81186
LDOF 19 0.12121 0.10362 0.12224 0.10466 0.25000 0.23498 0.82397
LDOF 97 0.09091 0.07271 0.08456 0.06623 0.19214 0.17596 0.83034
ODIN 63 0.18182 0.16543 0.11268 0.09492 0.19162 0.17543 0.85031
ODIN 64 0.18182 0.16543 0.11419 0.09645 0.19394 0.17780 0.84997
ODIN 97 0.09091 0.07271 0.10957 0.09174 0.20548 0.18957 0.84696
FastABOD 7 0.18182 0.16543 0.09420 0.07606 0.18750 0.17123 0.82690
FastABOD 9 0.18182 0.16543 0.08900 0.07076 0.19231 0.17613 0.82850
FastABOD 14 0.06061 0.04180 0.07765 0.05918 0.18367 0.16733 0.82883
KDEOS 59 0.12121 0.10362 0.08079 0.06238 0.14019 0.12297 0.81967
KDEOS 98 0.06061 0.04180 0.11288 0.09512 0.20000 0.18398 0.84192
KDEOS 100 0.06061 0.04180 0.11299 0.09522 0.19868 0.18263 0.84146
LDF 8 0.15152 0.13452 0.11215 0.09437 0.21622 0.20052 0.83072
LDF 29 0.03030 0.01089 0.07550 0.05699 0.22222 0.20665 0.81535
LDF 91 0.12121 0.10362 0.09632 0.07823 0.21138 0.19559 0.85773
INFLO 6 0.18182 0.16543 0.10461 0.08668 0.20000 0.18398 0.80467
INFLO 10 0.18182 0.16543 0.11284 0.09508 0.20896 0.19312 0.84383
INFLO 81 0.06061 0.04180 0.08581 0.06750 0.21782 0.20216 0.85740
INFLO 96 0.06061 0.04180 0.08854 0.07029 0.21569 0.19998 0.86090
COF 7 0.15152 0.13452 0.12709 0.10961 0.19737 0.18130 0.80621
COF 12 0.18182 0.16543 0.10704 0.08916 0.26190 0.24712 0.80574
COF 14 0.21212 0.19634 0.10167 0.08368 0.21918 0.20354 0.82403
COF 15 0.15152 0.13452 0.10255 0.08457 0.21429 0.19855 0.83059

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 1688 objects, 33 outliers (1.95%)

Download raw algorithm results (14.5 MB) Download raw algorithm evaluation table (61.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.12121 0.10369 0.11515 0.09751 0.17094 0.15441 0.73427
KNN 100 0.06061 0.04187 0.07183 0.05332 0.15385 0.13697 0.79092
KNNW 1 0.18182 0.16550 0.14003 0.12288 0.21818 0.20259 0.71121
KNNW 100 0.06061 0.04187 0.06999 0.05144 0.14679 0.12978 0.77907
LOF 4 0.21212 0.19641 0.15614 0.13931 0.21538 0.19974 0.73029
LOF 6 0.21212 0.19641 0.15911 0.14234 0.25000 0.23505 0.74296
LOF 100 0.09091 0.07278 0.07170 0.05319 0.15564 0.13881 0.82845
SimplifiedLOF 3 0.27273 0.25823 0.12363 0.10616 0.30000 0.28604 0.70741
SimplifiedLOF 8 0.24242 0.22732 0.20073 0.18479 0.29167 0.27754 0.75069
SimplifiedLOF 100 0.09091 0.07278 0.07009 0.05155 0.14634 0.12932 0.77658
LoOP 7 0.24242 0.22732 0.19009 0.17394 0.28571 0.27147 0.74809
LoOP 8 0.24242 0.22732 0.20567 0.18983 0.31111 0.29737 0.74695
LoOP 11 0.21212 0.19641 0.20436 0.18849 0.26667 0.25204 0.76276
LDOF 7 0.24242 0.22732 0.19639 0.18037 0.29167 0.27754 0.68432
LDOF 9 0.24242 0.22732 0.21149 0.19577 0.34783 0.33482 0.69593
LDOF 100 0.09091 0.07278 0.08399 0.06572 0.14516 0.12812 0.76417
ODIN 10 0.23636 0.22114 0.09769 0.07970 0.23881 0.22363 0.69650
ODIN 14 0.21212 0.19641 0.12955 0.11219 0.29167 0.27754 0.69032
ODIN 20 0.18182 0.16550 0.14969 0.13274 0.27907 0.26469 0.70676
ODIN 100 0.09091 0.07278 0.12390 0.10643 0.15063 0.13369 0.78038
FastABOD 3 0.15152 0.13460 0.10304 0.08515 0.17391 0.15744 0.72451
FastABOD 5 0.15152 0.13460 0.14419 0.12712 0.19672 0.18070 0.74066
FastABOD 6 0.15152 0.13460 0.14201 0.12490 0.19200 0.17589 0.74426
KDEOS 62 0.15152 0.13460 0.13726 0.12006 0.16216 0.14546 0.72813
KDEOS 75 0.18182 0.16550 0.11435 0.09669 0.18462 0.16836 0.73126
KDEOS 78 0.18182 0.16550 0.11745 0.09985 0.19672 0.18070 0.72517
KDEOS 100 0.15152 0.13460 0.12517 0.10773 0.19231 0.17620 0.73646
LDF 3 0.18182 0.16550 0.14478 0.12772 0.26667 0.25204 0.71257
LDF 99 0.06061 0.04187 0.09654 0.07853 0.19868 0.18270 0.86813
INFLO 5 0.24242 0.22732 0.19005 0.17390 0.26415 0.24948 0.72718
INFLO 6 0.24242 0.22732 0.19340 0.17731 0.26230 0.24759 0.72031
INFLO 7 0.24242 0.22732 0.18411 0.16785 0.28070 0.26636 0.73115
INFLO 91 0.09091 0.07278 0.07249 0.05400 0.13235 0.11505 0.76237
COF 5 0.18182 0.16550 0.17341 0.15693 0.22222 0.20671 0.74847
COF 8 0.18182 0.16550 0.19568 0.17964 0.25641 0.24158 0.70580
COF 9 0.21212 0.19641 0.17942 0.16306 0.24561 0.23057 0.72566

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO