Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Cardiotocography (2% of outliers version#03)

Data set related to heart diseases. It describes 3 classes: normal, suspect, or pathological. Normal patients are treated as inliers and the remaining as outliers.

Download all data set variants used (8.8 MB). You can also access the original data. (CTG.xls)

Normalized, without duplicates

This version contains 21 attributes, 1681 objects, 33 outliers (1.96%)

Download raw algorithm results (14.6 MB) Download raw algorithm evaluation table (56.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.27273 0.25816 0.20301 0.18705 0.29508 0.28097 0.79308
KNNW 1 0.30303 0.28907 0.16720 0.15052 0.32836 0.31491 0.74612
KNNW 3 0.27273 0.25816 0.20805 0.19220 0.31884 0.30520 0.79207
LOF 5 0.27273 0.25816 0.17775 0.16128 0.30769 0.29383 0.74399
LOF 6 0.27273 0.25816 0.20342 0.18747 0.33333 0.31998 0.75153
LOF 7 0.24242 0.22725 0.21419 0.19846 0.32184 0.30826 0.75131
LOF 11 0.21212 0.19634 0.16601 0.14931 0.25743 0.24256 0.77006
SimplifiedLOF 9 0.24242 0.22725 0.20471 0.18878 0.30769 0.29383 0.77199
SimplifiedLOF 14 0.33333 0.31998 0.18148 0.16509 0.35821 0.34536 0.77948
SimplifiedLOF 15 0.27273 0.25816 0.18790 0.17164 0.32877 0.31533 0.78258
LoOP 10 0.24242 0.22725 0.18825 0.17200 0.30137 0.28738 0.76945
LoOP 12 0.30303 0.28907 0.18021 0.16380 0.33735 0.32408 0.77401
LoOP 13 0.24242 0.22725 0.17065 0.15404 0.34783 0.33477 0.77161
LoOP 14 0.27273 0.25816 0.16252 0.14575 0.31481 0.30109 0.77628
LDOF 19 0.27273 0.25816 0.16250 0.14573 0.37037 0.35776 0.74397
LDOF 29 0.33333 0.31998 0.17467 0.15815 0.34921 0.33617 0.74658
LDOF 30 0.30303 0.28907 0.17678 0.16029 0.35088 0.33788 0.74930
LDOF 98 0.21212 0.19634 0.13812 0.12086 0.25532 0.24041 0.77067
ODIN 12 0.28732 0.27305 0.13692 0.11964 0.29412 0.27998 0.76722
ODIN 13 0.28469 0.27037 0.15334 0.13639 0.29508 0.28097 0.77315
ODIN 19 0.27834 0.26389 0.13845 0.12119 0.30137 0.28738 0.75629
FastABOD 4 0.24242 0.22725 0.13557 0.11826 0.26667 0.25198 0.78372
FastABOD 9 0.24242 0.22725 0.13745 0.12018 0.24615 0.23106 0.81057
FastABOD 93 0.15152 0.13452 0.13160 0.11421 0.21978 0.20416 0.82506
KDEOS 46 0.15152 0.13452 0.07667 0.05819 0.16162 0.14483 0.76681
KDEOS 59 0.09091 0.07271 0.08473 0.06640 0.18803 0.17178 0.76986
KDEOS 60 0.09091 0.07271 0.08341 0.06506 0.18692 0.17063 0.77207
KDEOS 96 0.06061 0.04180 0.09547 0.07736 0.15126 0.13427 0.76550
LDF 91 0.27273 0.25816 0.20373 0.18778 0.28889 0.27465 0.76024
LDF 100 0.24242 0.22725 0.21242 0.19665 0.28235 0.26798 0.76352
INFLO 7 0.27273 0.25816 0.18080 0.16440 0.28571 0.27141 0.77354
INFLO 15 0.24242 0.22725 0.15410 0.13716 0.31169 0.29791 0.75441
INFLO 77 0.24242 0.22725 0.15528 0.13836 0.27273 0.25816 0.79777
COF 8 0.21212 0.19634 0.21374 0.19799 0.29167 0.27748 0.77900
COF 9 0.21212 0.19634 0.21802 0.20236 0.28000 0.26558 0.76979
COF 13 0.18182 0.16543 0.20463 0.18870 0.27273 0.25816 0.78505
COF 22 0.24242 0.22725 0.19422 0.17808 0.25000 0.23498 0.75868

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 1688 objects, 33 outliers (1.95%)

Download raw algorithm results (14.6 MB) Download raw algorithm evaluation table (58.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.21212 0.19641 0.13203 0.11473 0.23333 0.21805 0.73605
KNN 2 0.21212 0.19641 0.13638 0.11916 0.22857 0.21319 0.73406
KNN 6 0.12121 0.10369 0.09600 0.07798 0.18947 0.17331 0.74093
KNNW 1 0.18182 0.16550 0.10624 0.08841 0.20000 0.18405 0.75883
KNNW 2 0.21212 0.19641 0.14651 0.12949 0.24561 0.23057 0.75287
LOF 2 0.21212 0.19641 0.08249 0.06419 0.22222 0.20671 0.62848
LOF 4 0.21212 0.19641 0.16477 0.14811 0.26923 0.25466 0.70763
LOF 7 0.21212 0.19641 0.19586 0.17983 0.24427 0.22921 0.76840
LOF 12 0.12121 0.10369 0.12020 0.10266 0.18750 0.17130 0.80632
SimplifiedLOF 5 0.24242 0.22732 0.16553 0.14889 0.24658 0.23155 0.69486
SimplifiedLOF 11 0.24242 0.22732 0.18982 0.17367 0.27523 0.26078 0.76360
SimplifiedLOF 14 0.24242 0.22732 0.17395 0.15748 0.28571 0.27147 0.79008
SimplifiedLOF 31 0.12121 0.10369 0.13389 0.11662 0.17143 0.15491 0.80720
LoOP 5 0.24242 0.22732 0.12962 0.11226 0.26087 0.24613 0.67654
LoOP 11 0.18182 0.16550 0.15579 0.13896 0.26374 0.24906 0.75612
LoOP 12 0.21212 0.19641 0.14493 0.12788 0.27083 0.25629 0.77188
LoOP 19 0.15152 0.13460 0.13594 0.11871 0.21053 0.19478 0.79846
LDOF 18 0.18182 0.16550 0.12154 0.10403 0.23077 0.21543 0.73174
LDOF 23 0.21212 0.19641 0.12495 0.10750 0.21538 0.19974 0.74320
LDOF 73 0.15152 0.13460 0.13747 0.12027 0.20833 0.19255 0.78881
LDOF 94 0.15152 0.13460 0.13482 0.11757 0.21277 0.19707 0.80716
ODIN 14 0.14956 0.13260 0.08329 0.06501 0.20690 0.19108 0.79830
ODIN 21 0.18561 0.16937 0.08685 0.06864 0.18750 0.17130 0.77841
ODIN 99 0.09848 0.08051 0.10504 0.08719 0.15584 0.13901 0.75968
FastABOD 3 0.03030 0.01097 0.08325 0.06497 0.18182 0.16550 0.81661
FastABOD 9 0.15152 0.13460 0.11816 0.10057 0.18919 0.17302 0.79363
FastABOD 41 0.12121 0.10369 0.10404 0.08618 0.20408 0.18821 0.80905
FastABOD 87 0.12121 0.10369 0.12262 0.10512 0.18182 0.16550 0.81115
KDEOS 27 0.06061 0.04187 0.09567 0.07764 0.12632 0.10889 0.72671
KDEOS 32 0.15152 0.13460 0.05927 0.04051 0.16438 0.14772 0.73474
KDEOS 83 0.09091 0.07278 0.06668 0.04807 0.18391 0.16764 0.77675
KDEOS 99 0.06061 0.04187 0.07185 0.05334 0.17949 0.16313 0.78705
LDF 7 0.21212 0.19641 0.20147 0.18555 0.23529 0.22005 0.78284
LDF 10 0.18182 0.16550 0.16606 0.14943 0.24096 0.22583 0.82562
LDF 11 0.27273 0.25823 0.15053 0.13359 0.28571 0.27147 0.80681
INFLO 4 0.21212 0.19641 0.10990 0.09215 0.25352 0.23864 0.65954
INFLO 6 0.21212 0.19641 0.13701 0.11980 0.25455 0.23968 0.69842
INFLO 7 0.21212 0.19641 0.16732 0.15071 0.25352 0.23864 0.70614
INFLO 100 0.15152 0.13460 0.14538 0.12834 0.20513 0.18928 0.80866
COF 6 0.27273 0.25823 0.17840 0.16201 0.29787 0.28387 0.70267
COF 12 0.27273 0.25823 0.26070 0.24595 0.29787 0.28387 0.80914
COF 15 0.24242 0.22732 0.26889 0.25431 0.35556 0.34271 0.77673

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 1681 objects, 33 outliers (1.96%)

Download raw algorithm results (14.5 MB) Download raw algorithm evaluation table (57.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.24242 0.22725 0.15854 0.14169 0.24615 0.23106 0.79293
KNN 2 0.21212 0.19634 0.12189 0.10431 0.23881 0.22356 0.79386
KNNW 1 0.21212 0.19634 0.20079 0.18479 0.27907 0.26463 0.80277
KNNW 2 0.21212 0.19634 0.18671 0.17043 0.24658 0.23149 0.80562
KNNW 3 0.24242 0.22725 0.16291 0.14615 0.25397 0.23903 0.80526
LOF 8 0.27273 0.25816 0.14598 0.12887 0.29851 0.28446 0.79935
LOF 9 0.33333 0.31998 0.14056 0.12335 0.33333 0.31998 0.79511
LOF 11 0.24242 0.22725 0.11791 0.10025 0.26230 0.24752 0.80040
SimplifiedLOF 11 0.30303 0.28907 0.16555 0.14884 0.32836 0.31491 0.79900
SimplifiedLOF 13 0.33333 0.31998 0.16175 0.14496 0.34783 0.33477 0.80549
SimplifiedLOF 16 0.33333 0.31998 0.16051 0.14370 0.35484 0.34192 0.82125
SimplifiedLOF 19 0.27273 0.25816 0.13645 0.11916 0.29730 0.28323 0.82134
LoOP 9 0.24242 0.22725 0.15995 0.14313 0.29730 0.28323 0.77845
LoOP 13 0.33333 0.31998 0.15315 0.13619 0.35484 0.34192 0.79257
LoOP 16 0.30303 0.28907 0.14143 0.12424 0.32258 0.30902 0.80833
LDOF 13 0.21212 0.19634 0.13666 0.11937 0.25641 0.24152 0.68283
LDOF 16 0.27273 0.25816 0.13328 0.11592 0.28986 0.27563 0.71333
LDOF 17 0.24242 0.22725 0.12396 0.10642 0.30137 0.28738 0.70947
LDOF 65 0.18182 0.16543 0.09228 0.07411 0.19565 0.17955 0.79617
ODIN 6 0.13805 0.12079 0.06741 0.04874 0.14754 0.13047 0.77384
ODIN 9 0.16727 0.15060 0.07950 0.06107 0.17143 0.15484 0.76433
ODIN 42 0.15152 0.13452 0.12301 0.10545 0.19608 0.17998 0.74281
ODIN 100 0.12121 0.10362 0.08417 0.06583 0.20952 0.19370 0.74907
FastABOD 4 0.18182 0.16543 0.19438 0.17825 0.21951 0.20388 0.81640
FastABOD 6 0.21212 0.19634 0.18055 0.16414 0.24000 0.22478 0.81794
FastABOD 9 0.24242 0.22725 0.17080 0.15420 0.25000 0.23498 0.80772
FastABOD 11 0.24242 0.22725 0.16609 0.14939 0.26667 0.25198 0.80950
KDEOS 49 0.12121 0.10362 0.09332 0.07516 0.13333 0.11598 0.80702
KDEOS 87 0.15152 0.13452 0.12360 0.10605 0.20833 0.19248 0.79531
KDEOS 89 0.18182 0.16543 0.12600 0.10850 0.20833 0.19248 0.79297
LDF 2 0.18182 0.16543 0.14562 0.12851 0.24000 0.22478 0.74576
LDF 8 0.18182 0.16543 0.11337 0.09562 0.20000 0.18398 0.80799
INFLO 3 0.15152 0.13452 0.09670 0.07861 0.19608 0.17998 0.79137
INFLO 9 0.30303 0.28907 0.19956 0.18353 0.32787 0.31441 0.76733
COF 7 0.24242 0.22725 0.16179 0.14500 0.30380 0.28986 0.76929
COF 9 0.30303 0.28907 0.17837 0.16192 0.30303 0.28907 0.79560
COF 14 0.21212 0.19634 0.21455 0.19882 0.27273 0.25816 0.78321
COF 16 0.21212 0.19634 0.17582 0.15931 0.24324 0.22809 0.81395

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 1688 objects, 33 outliers (1.95%)

Download raw algorithm results (14.5 MB) Download raw algorithm evaluation table (62.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.12121 0.10369 0.08782 0.06963 0.15385 0.13697 0.79738
KNNW 2 0.12121 0.10369 0.08337 0.06509 0.16794 0.15135 0.80769
KNNW 3 0.12121 0.10369 0.09146 0.07334 0.15686 0.14005 0.80613
LOF 7 0.18182 0.16550 0.12061 0.10307 0.21505 0.19940 0.71162
LOF 9 0.12121 0.10369 0.10875 0.09098 0.22989 0.21453 0.75913
LOF 100 0.03030 0.01097 0.06357 0.04490 0.12830 0.11092 0.81225
SimplifiedLOF 13 0.21212 0.19641 0.13078 0.11345 0.26190 0.24719 0.76673
SimplifiedLOF 20 0.24242 0.22732 0.09874 0.08077 0.25397 0.23909 0.77922
SimplifiedLOF 59 0.03030 0.01097 0.06445 0.04580 0.12346 0.10598 0.78413
LoOP 16 0.21212 0.19641 0.13371 0.11644 0.24000 0.22485 0.76547
LoOP 19 0.18182 0.16550 0.10080 0.08287 0.25352 0.23864 0.76591
LoOP 23 0.18182 0.16550 0.09136 0.07325 0.20588 0.19005 0.77032
LDOF 13 0.15152 0.13460 0.13115 0.11382 0.21053 0.19478 0.63444
LDOF 14 0.18182 0.16550 0.12873 0.11135 0.18421 0.16794 0.63746
LDOF 23 0.18182 0.16550 0.09405 0.07599 0.23077 0.21543 0.67459
LDOF 94 0.06061 0.04187 0.06193 0.04322 0.12676 0.10935 0.76605
ODIN 9 0.14509 0.12804 0.06152 0.04280 0.16216 0.14546 0.73429
ODIN 20 0.15152 0.13460 0.06700 0.04839 0.15625 0.13943 0.72647
ODIN 26 0.10390 0.08603 0.07949 0.06113 0.12245 0.10495 0.72389
ODIN 100 0.06061 0.04187 0.05534 0.03650 0.12857 0.11120 0.77287
FastABOD 6 0.15152 0.13460 0.11569 0.09806 0.19277 0.17668 0.82384
FastABOD 7 0.12121 0.10369 0.11891 0.10135 0.18987 0.17372 0.82844
FastABOD 12 0.12121 0.10369 0.11133 0.09362 0.19608 0.18005 0.83137
FastABOD 64 0.12121 0.10369 0.10152 0.08361 0.16667 0.15005 0.83752
KDEOS 71 0.12121 0.10369 0.11693 0.09932 0.17073 0.15420 0.78905
KDEOS 83 0.18182 0.16550 0.09360 0.07552 0.18462 0.16836 0.78867
KDEOS 88 0.18182 0.16550 0.09887 0.08091 0.19672 0.18070 0.79222
KDEOS 91 0.15152 0.13460 0.09943 0.08147 0.17949 0.16313 0.79449
LDF 7 0.06061 0.04187 0.07799 0.05960 0.16471 0.14805 0.79396
LDF 8 0.12121 0.10369 0.09869 0.08071 0.13675 0.11954 0.80353
LDF 9 0.12121 0.10369 0.09968 0.08173 0.15385 0.13697 0.77741
LDF 99 0.06061 0.04187 0.07560 0.05717 0.14286 0.12577 0.84918
INFLO 11 0.18182 0.16550 0.11248 0.09478 0.21818 0.20259 0.72023
INFLO 12 0.21212 0.19641 0.09746 0.07947 0.21212 0.19641 0.71830
INFLO 13 0.21212 0.19641 0.10972 0.09197 0.22222 0.20671 0.72254
INFLO 96 0.06061 0.04187 0.06185 0.04314 0.11258 0.09489 0.76917
COF 4 0.18182 0.16550 0.06539 0.04675 0.19048 0.17433 0.64329
COF 10 0.18182 0.16550 0.12991 0.11256 0.20690 0.19108 0.77580
COF 13 0.18182 0.16550 0.16018 0.14344 0.20000 0.18405 0.78899
COF 26 0.06061 0.04187 0.08167 0.06336 0.15569 0.13885 0.83912

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO