Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Cardiotocography (2% of outliers version#10)

Data set related to heart diseases. It describes 3 classes: normal, suspect, or pathological. Normal patients are treated as inliers and the remaining as outliers.

Download all data set variants used (8.8 MB). You can also access the original data. (CTG.xls)

Normalized, without duplicates

This version contains 21 attributes, 1681 objects, 33 outliers (1.96%)

Download raw algorithm results (14.6 MB) Download raw algorithm evaluation table (54.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.21212 0.19634 0.16396 0.14722 0.25000 0.23498 0.76058
KNN 100 0.15152 0.13452 0.13449 0.11715 0.17544 0.15893 0.76153
KNNW 1 0.21212 0.19634 0.17152 0.15493 0.27907 0.26463 0.75135
KNNW 2 0.21212 0.19634 0.17126 0.15466 0.27273 0.25816 0.76723
LOF 6 0.24242 0.22725 0.18103 0.16463 0.28571 0.27141 0.74998
LOF 7 0.24242 0.22725 0.18831 0.17205 0.27451 0.25998 0.76589
LOF 23 0.18182 0.16543 0.15601 0.13911 0.29268 0.27852 0.76927
LOF 33 0.18182 0.16543 0.14698 0.12990 0.27273 0.25816 0.78714
SimplifiedLOF 6 0.24242 0.22725 0.16352 0.14677 0.32000 0.30638 0.73204
SimplifiedLOF 9 0.27273 0.25816 0.19254 0.17638 0.31579 0.30209 0.76458
SimplifiedLOF 17 0.24242 0.22725 0.16756 0.15089 0.26415 0.24942 0.79043
LoOP 8 0.27273 0.25816 0.16304 0.14628 0.27273 0.25816 0.75456
LoOP 9 0.27273 0.25816 0.17252 0.15595 0.28947 0.27525 0.76234
LoOP 10 0.24242 0.22725 0.17059 0.15398 0.29167 0.27748 0.76131
LoOP 100 0.18182 0.16543 0.11155 0.09376 0.20408 0.18814 0.77878
LDOF 14 0.24242 0.22725 0.12782 0.11036 0.25397 0.23903 0.73078
LDOF 15 0.24242 0.22725 0.12393 0.10639 0.28070 0.26630 0.73924
LDOF 16 0.24242 0.22725 0.13211 0.11473 0.25641 0.24152 0.74901
LDOF 20 0.18182 0.16543 0.12130 0.10370 0.25000 0.23498 0.77946
ODIN 15 0.21455 0.19882 0.11250 0.09473 0.23077 0.21537 0.73154
ODIN 84 0.18182 0.16543 0.14776 0.13070 0.27273 0.25816 0.76135
ODIN 85 0.18182 0.16543 0.14798 0.13092 0.27273 0.25816 0.76350
ODIN 100 0.18182 0.16543 0.13160 0.11421 0.26087 0.24607 0.76927
FastABOD 6 0.24242 0.22725 0.14371 0.12656 0.26866 0.25401 0.81244
FastABOD 10 0.24242 0.22725 0.15527 0.13836 0.25714 0.24227 0.80544
KDEOS 20 0.06061 0.04180 0.10535 0.08743 0.11579 0.09808 0.72906
KDEOS 53 0.15152 0.13452 0.05893 0.04009 0.15385 0.13690 0.72786
KDEOS 64 0.12121 0.10362 0.06474 0.04601 0.17391 0.15737 0.73748
KDEOS 100 0.12121 0.10362 0.07369 0.05514 0.12698 0.10950 0.74941
LDF 13 0.12121 0.10362 0.06386 0.04511 0.14953 0.13250 0.76401
LDF 57 0.21212 0.19634 0.11926 0.10163 0.21538 0.19967 0.75655
LDF 100 0.21212 0.19634 0.13752 0.12025 0.25926 0.24443 0.75182
INFLO 5 0.24242 0.22725 0.16351 0.14675 0.28000 0.26558 0.73652
INFLO 11 0.21212 0.19634 0.16653 0.14984 0.29167 0.27748 0.77336
INFLO 36 0.18182 0.16543 0.13527 0.11796 0.25000 0.23498 0.79718
COF 6 0.27273 0.25816 0.16856 0.15192 0.28571 0.27141 0.75696
COF 9 0.24242 0.22725 0.24765 0.23259 0.33333 0.31998 0.80128
COF 18 0.27273 0.25816 0.19862 0.18257 0.33962 0.32640 0.75818

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 1688 objects, 33 outliers (1.95%)

Download raw algorithm results (14.6 MB) Download raw algorithm evaluation table (59.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.24242 0.22732 0.21445 0.19879 0.30435 0.29048 0.76596
KNN 2 0.27273 0.25823 0.18486 0.16860 0.27451 0.26004 0.75575
KNNW 1 0.24242 0.22732 0.20805 0.19226 0.32000 0.30644 0.71490
KNNW 2 0.24242 0.22732 0.21850 0.20291 0.32000 0.30644 0.75709
KNNW 3 0.24242 0.22732 0.21212 0.19642 0.31373 0.30004 0.76090
LOF 4 0.36364 0.35095 0.20340 0.18752 0.41558 0.40393 0.74733
LOF 5 0.36364 0.35095 0.21439 0.19873 0.43243 0.42112 0.75301
LOF 96 0.21212 0.19641 0.10985 0.09210 0.21212 0.19641 0.78410
SimplifiedLOF 6 0.27273 0.25823 0.16922 0.15266 0.36364 0.35095 0.75912
SimplifiedLOF 9 0.33333 0.32004 0.22088 0.20535 0.34286 0.32975 0.76002
SimplifiedLOF 96 0.15152 0.13460 0.10881 0.09104 0.19737 0.18136 0.77877
LoOP 5 0.33333 0.32004 0.16491 0.14826 0.36842 0.35583 0.74244
LoOP 9 0.33333 0.32004 0.19999 0.18403 0.35484 0.34197 0.75261
LoOP 93 0.15152 0.13460 0.11517 0.09752 0.20690 0.19108 0.77394
LDOF 8 0.27273 0.25823 0.13313 0.11584 0.29032 0.27617 0.69879
LDOF 18 0.21212 0.19641 0.16005 0.14331 0.25926 0.24449 0.75929
LDOF 31 0.24242 0.22732 0.18742 0.17122 0.26531 0.25066 0.74618
ODIN 18 0.33333 0.32004 0.18780 0.17160 0.33333 0.32004 0.73729
ODIN 19 0.33670 0.32347 0.17733 0.16092 0.34286 0.32975 0.74037
ODIN 100 0.10909 0.09133 0.13184 0.11453 0.21622 0.20059 0.77581
FastABOD 5 0.27273 0.25823 0.18396 0.16769 0.29412 0.28004 0.80001
FastABOD 7 0.24242 0.22732 0.13976 0.12261 0.29630 0.28226 0.79538
FastABOD 17 0.24242 0.22732 0.13918 0.12202 0.27119 0.25665 0.80570
KDEOS 40 0.09091 0.07278 0.07802 0.05964 0.20619 0.19036 0.73776
KDEOS 44 0.12121 0.10369 0.07110 0.05257 0.21176 0.19605 0.73310
KDEOS 66 0.15152 0.13460 0.06716 0.04856 0.16129 0.14457 0.74246
KDEOS 97 0.09091 0.07278 0.07099 0.05246 0.14815 0.13116 0.75304
LDF 2 0.15152 0.13460 0.11236 0.09466 0.26263 0.24792 0.77361
LDF 78 0.27273 0.25823 0.16933 0.15276 0.28070 0.26636 0.74898
LDF 94 0.27273 0.25823 0.22961 0.21425 0.31579 0.30215 0.75174
LDF 99 0.27273 0.25823 0.24895 0.23397 0.31034 0.29659 0.75367
INFLO 5 0.33333 0.32004 0.17992 0.16357 0.34783 0.33482 0.75655
INFLO 6 0.27273 0.25823 0.18417 0.16790 0.34211 0.32899 0.78609
INFLO 8 0.24242 0.22732 0.20429 0.18842 0.27368 0.25920 0.76035
COF 5 0.27273 0.25823 0.20005 0.18410 0.31915 0.30557 0.76251
COF 6 0.27273 0.25823 0.19382 0.17774 0.31373 0.30004 0.77226
COF 7 0.27273 0.25823 0.23443 0.21916 0.32558 0.31213 0.76241
COF 9 0.27273 0.25823 0.24417 0.22910 0.32143 0.30790 0.77035

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 1681 objects, 33 outliers (1.96%)

Download raw algorithm results (14.5 MB) Download raw algorithm evaluation table (55.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.15152 0.13452 0.10357 0.08561 0.18182 0.16543 0.78205
KNN 2 0.18182 0.16543 0.09325 0.07509 0.18182 0.16543 0.77441
KNNW 1 0.15152 0.13452 0.14636 0.12926 0.18824 0.17198 0.82705
KNNW 2 0.15152 0.13452 0.13757 0.12031 0.19444 0.17831 0.80932
LOF 8 0.21212 0.19634 0.10153 0.08353 0.22222 0.20665 0.73656
LOF 12 0.21212 0.19634 0.10580 0.08789 0.24138 0.22619 0.79943
LOF 15 0.15152 0.13452 0.15913 0.14229 0.20833 0.19248 0.77835
LOF 100 0.12121 0.10362 0.07560 0.05709 0.14035 0.12314 0.81857
SimplifiedLOF 12 0.24242 0.22725 0.11877 0.10112 0.26230 0.24752 0.77006
SimplifiedLOF 16 0.21212 0.19634 0.13362 0.11627 0.29167 0.27748 0.77493
SimplifiedLOF 17 0.24242 0.22725 0.13369 0.11634 0.29167 0.27748 0.77982
SimplifiedLOF 100 0.12121 0.10362 0.07629 0.05779 0.15385 0.13690 0.79944
LoOP 12 0.21212 0.19634 0.12856 0.11111 0.25714 0.24227 0.76850
LoOP 13 0.24242 0.22725 0.12321 0.10565 0.26471 0.24998 0.76362
LoOP 14 0.24242 0.22725 0.12245 0.10488 0.28070 0.26630 0.76037
LoOP 100 0.15152 0.13452 0.07836 0.05991 0.16000 0.14318 0.78761
LDOF 12 0.18182 0.16543 0.12616 0.10866 0.18462 0.16829 0.69782
LDOF 19 0.21212 0.19634 0.11538 0.09767 0.24490 0.22978 0.74619
LDOF 87 0.15152 0.13452 0.09237 0.07419 0.18919 0.17295 0.79446
ODIN 6 0.19209 0.17591 0.07982 0.06139 0.19355 0.17740 0.72126
ODIN 29 0.15152 0.13452 0.12263 0.10506 0.24390 0.22876 0.72190
ODIN 91 0.12121 0.10362 0.15047 0.13346 0.17021 0.15360 0.78183
ODIN 99 0.12121 0.10362 0.14314 0.12598 0.16216 0.14539 0.78665
FastABOD 4 0.27273 0.25816 0.21237 0.19660 0.30508 0.29117 0.82396
KDEOS 57 0.09091 0.07271 0.08457 0.06624 0.11245 0.09468 0.77063
KDEOS 78 0.09091 0.07271 0.10010 0.08208 0.11111 0.09331 0.77637
KDEOS 81 0.06061 0.04180 0.09266 0.07449 0.11702 0.09934 0.77800
KDEOS 99 0.06061 0.04180 0.08913 0.07089 0.13665 0.11936 0.77076
LDF 9 0.21212 0.19634 0.11959 0.10196 0.26923 0.25460 0.74079
LDF 11 0.12121 0.10362 0.12735 0.10988 0.16667 0.14998 0.75662
LDF 93 0.12121 0.10362 0.07620 0.05770 0.15584 0.13894 0.81270
INFLO 3 0.18182 0.16543 0.12391 0.10636 0.21918 0.20354 0.82187
INFLO 9 0.21212 0.19634 0.13706 0.11978 0.22581 0.21030 0.74448
INFLO 11 0.18182 0.16543 0.13839 0.12114 0.25000 0.23498 0.71002
INFLO 23 0.21212 0.19634 0.12851 0.11106 0.26087 0.24607 0.74288
COF 5 0.12121 0.10362 0.10663 0.08874 0.17323 0.15667 0.78725
COF 11 0.18182 0.16543 0.10178 0.08380 0.22642 0.21092 0.72959
COF 12 0.21212 0.19634 0.11491 0.09719 0.22581 0.21030 0.70673
COF 32 0.12121 0.10362 0.16178 0.14500 0.20000 0.18398 0.71631

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 1688 objects, 33 outliers (1.95%)

Download raw algorithm results (14.5 MB) Download raw algorithm evaluation table (58.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.15152 0.13460 0.09464 0.07659 0.18919 0.17302 0.77597
KNN 2 0.21212 0.19641 0.10199 0.08409 0.22581 0.21037 0.75423
KNNW 1 0.21212 0.19641 0.10432 0.08646 0.23077 0.21543 0.71924
KNNW 2 0.21212 0.19641 0.10845 0.09067 0.21212 0.19641 0.76813
KNNW 4 0.21212 0.19641 0.10209 0.08419 0.23529 0.22005 0.76181
LOF 8 0.30303 0.28913 0.17143 0.15491 0.31250 0.29879 0.77503
LOF 9 0.30303 0.28913 0.18127 0.16494 0.32836 0.31497 0.78851
LOF 11 0.27273 0.25823 0.16730 0.15070 0.29508 0.28103 0.80658
LOF 14 0.21212 0.19641 0.19406 0.17799 0.22222 0.20671 0.76793
SimplifiedLOF 12 0.27273 0.25823 0.16484 0.14819 0.29091 0.27677 0.78818
SimplifiedLOF 14 0.27273 0.25823 0.16397 0.14730 0.31579 0.30215 0.79699
LoOP 9 0.24242 0.22732 0.14804 0.13105 0.25397 0.23909 0.79733
LoOP 13 0.27273 0.25823 0.15623 0.13940 0.29091 0.27677 0.79406
LoOP 14 0.27273 0.25823 0.15734 0.14054 0.32727 0.31386 0.79440
LoOP 15 0.27273 0.25823 0.15786 0.14107 0.32143 0.30790 0.79385
LDOF 17 0.36364 0.35095 0.14880 0.13182 0.36620 0.35356 0.75321
ODIN 7 0.10000 0.08205 0.06575 0.04712 0.14054 0.12340 0.78869
ODIN 26 0.22314 0.20765 0.15858 0.14180 0.31818 0.30459 0.71381
ODIN 27 0.22576 0.21032 0.15893 0.14216 0.31818 0.30459 0.71103
ODIN 87 0.18182 0.16550 0.20462 0.18876 0.25641 0.24158 0.75527
FastABOD 4 0.21212 0.19641 0.11837 0.10079 0.25352 0.23864 0.78521
FastABOD 6 0.21212 0.19641 0.11845 0.10087 0.25926 0.24449 0.77544
KDEOS 50 0.09091 0.07278 0.07286 0.05437 0.14634 0.12932 0.76982
KDEOS 56 0.18182 0.16550 0.08379 0.06552 0.18462 0.16836 0.76976
KDEOS 74 0.18182 0.16550 0.09504 0.07700 0.20000 0.18405 0.76240
LDF 9 0.24242 0.22732 0.14673 0.12972 0.25397 0.23909 0.76130
LDF 93 0.12121 0.10369 0.07339 0.05491 0.17391 0.15744 0.79880
INFLO 8 0.21212 0.19641 0.17456 0.15810 0.25882 0.24404 0.81476
INFLO 9 0.21212 0.19641 0.18793 0.17174 0.28571 0.27147 0.79841
INFLO 10 0.24242 0.22732 0.17580 0.15937 0.29412 0.28004 0.79304
INFLO 11 0.27273 0.25823 0.16950 0.15294 0.27397 0.25950 0.76884
COF 7 0.24242 0.22732 0.13039 0.11305 0.26000 0.24524 0.80504
COF 11 0.21212 0.19641 0.15427 0.13741 0.30380 0.28992 0.80884
COF 12 0.21212 0.19641 0.16944 0.15287 0.29630 0.28226 0.83280
COF 13 0.21212 0.19641 0.20868 0.19290 0.24561 0.23057 0.82841

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO