Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Cardiotocography (2% of outliers version#06)

Data set related to heart diseases. It describes 3 classes: normal, suspect, or pathological. Normal patients are treated as inliers and the remaining as outliers.

Download all data set variants used (8.8 MB). You can also access the original data. (CTG.xls)

Normalized, without duplicates

This version contains 21 attributes, 1681 objects, 33 outliers (1.96%)

Download raw algorithm results (14.6 MB) Download raw algorithm evaluation table (56.5 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.27273 0.25816 0.20577 0.18986 0.31579 0.30209 0.74867
KNN 94 0.21212 0.19634 0.22197 0.20640 0.26316 0.24840 0.74524
KNNW 2 0.15152 0.13452 0.15561 0.13870 0.20513 0.18921 0.76379
KNNW 3 0.21212 0.19634 0.17658 0.16009 0.26667 0.25198 0.75528
KNNW 4 0.21212 0.19634 0.18765 0.17138 0.27907 0.26463 0.74662
KNNW 100 0.18182 0.16543 0.21217 0.19640 0.25641 0.24152 0.73494
LOF 2 0.27273 0.25816 0.21623 0.20054 0.29333 0.27918 0.82247
LOF 4 0.30303 0.28907 0.25148 0.23649 0.34286 0.32970 0.79525
LOF 5 0.30303 0.28907 0.22835 0.21290 0.35294 0.33998 0.78183
SimplifiedLOF 4 0.27273 0.25816 0.24644 0.23135 0.28571 0.27141 0.83282
SimplifiedLOF 5 0.36364 0.35089 0.26771 0.25305 0.36923 0.35660 0.82846
SimplifiedLOF 8 0.33333 0.31998 0.28667 0.27239 0.38596 0.37367 0.81228
SimplifiedLOF 13 0.36364 0.35089 0.24655 0.23146 0.40678 0.39490 0.81881
LoOP 5 0.30303 0.28907 0.23123 0.21583 0.31250 0.29873 0.82667
LoOP 8 0.36364 0.35089 0.21797 0.20231 0.36923 0.35660 0.80303
LDOF 6 0.21212 0.19634 0.19119 0.17499 0.27273 0.25816 0.77804
LDOF 10 0.27273 0.25816 0.16388 0.14714 0.30000 0.28598 0.78801
LDOF 100 0.15152 0.13452 0.12843 0.11098 0.20000 0.18398 0.80141
ODIN 5 0.13235 0.11498 0.08989 0.07167 0.18433 0.16800 0.81992
ODIN 36 0.24242 0.22725 0.12751 0.11004 0.24242 0.22725 0.77959
ODIN 53 0.24242 0.22725 0.13973 0.12251 0.28070 0.26630 0.78408
ODIN 94 0.18182 0.16543 0.15996 0.14314 0.23810 0.22284 0.78986
FastABOD 4 0.27273 0.25816 0.18625 0.16995 0.28169 0.26731 0.84293
KDEOS 16 0.18182 0.16543 0.10643 0.08854 0.20253 0.18656 0.77526
KDEOS 19 0.18182 0.16543 0.14571 0.12860 0.20408 0.18814 0.77352
KDEOS 21 0.15152 0.13452 0.14648 0.12939 0.17647 0.15998 0.76863
LDF 3 0.30303 0.28907 0.23784 0.22257 0.31746 0.30379 0.75504
LDF 6 0.24242 0.22725 0.27095 0.25636 0.34146 0.32828 0.75381
LDF 7 0.30303 0.28907 0.27461 0.26008 0.34146 0.32828 0.75614
LDF 11 0.15152 0.13452 0.13373 0.11638 0.20690 0.19102 0.80329
INFLO 4 0.24242 0.22725 0.25336 0.23840 0.33333 0.31998 0.85275
INFLO 6 0.36364 0.35089 0.25216 0.23718 0.38235 0.36999 0.81987
COF 4 0.27273 0.25816 0.25437 0.23944 0.31579 0.30209 0.80224
COF 5 0.27273 0.25816 0.26781 0.25315 0.34043 0.32722 0.79367
COF 8 0.24242 0.22725 0.26450 0.24977 0.34783 0.33477 0.79283

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 1688 objects, 33 outliers (1.95%)

Download raw algorithm results (14.6 MB) Download raw algorithm evaluation table (58.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.36364 0.35095 0.29603 0.28199 0.40000 0.38804 0.84036
KNN 2 0.33333 0.32004 0.25706 0.24225 0.40816 0.39636 0.82573
KNNW 3 0.36364 0.35095 0.27587 0.26143 0.37736 0.36494 0.83879
KNNW 6 0.33333 0.32004 0.26100 0.24626 0.40000 0.38804 0.82826
LOF 4 0.33333 0.32004 0.22515 0.20969 0.37037 0.35782 0.81834
LOF 8 0.30303 0.28913 0.22897 0.21359 0.33333 0.32004 0.83156
LOF 10 0.24242 0.22732 0.17855 0.16217 0.26087 0.24613 0.84688
SimplifiedLOF 9 0.33333 0.32004 0.23499 0.21974 0.36735 0.35473 0.86089
SimplifiedLOF 14 0.30303 0.28913 0.22244 0.20694 0.32787 0.31447 0.87444
LoOP 8 0.33333 0.32004 0.22969 0.21433 0.34483 0.33176 0.84911
LoOP 9 0.30303 0.28913 0.22764 0.21224 0.37037 0.35782 0.85949
LoOP 10 0.30303 0.28913 0.23103 0.21570 0.35088 0.33793 0.86097
LoOP 14 0.33333 0.32004 0.20706 0.19125 0.34921 0.33623 0.86634
LDOF 14 0.36364 0.35095 0.20699 0.19118 0.36923 0.35665 0.83375
LDOF 32 0.18182 0.16550 0.16083 0.14410 0.25581 0.24098 0.85569
ODIN 14 0.22266 0.20716 0.14262 0.12553 0.22581 0.21037 0.83703
ODIN 34 0.26171 0.24699 0.19475 0.17869 0.26471 0.25004 0.82630
ODIN 64 0.27273 0.25823 0.15672 0.13991 0.27273 0.25823 0.81290
ODIN 92 0.24242 0.22732 0.16321 0.14653 0.28070 0.26636 0.82327
FastABOD 7 0.30303 0.28913 0.18150 0.16518 0.30769 0.29389 0.86435
FastABOD 8 0.30303 0.28913 0.19745 0.18145 0.30769 0.29389 0.86525
KDEOS 27 0.18182 0.16550 0.15135 0.13443 0.21505 0.19940 0.83004
KDEOS 41 0.15152 0.13460 0.10843 0.09066 0.21277 0.19707 0.84756
KDEOS 46 0.21212 0.19641 0.09474 0.07669 0.23529 0.22005 0.82392
LDF 6 0.18182 0.16550 0.15734 0.14054 0.25287 0.23798 0.82888
LDF 71 0.30303 0.28913 0.20756 0.19176 0.30769 0.29389 0.80834
LDF 93 0.30303 0.28913 0.24588 0.23085 0.40816 0.39636 0.80539
LDF 98 0.30303 0.28913 0.26346 0.24878 0.40000 0.38804 0.80543
INFLO 6 0.27273 0.25823 0.20655 0.19073 0.30000 0.28604 0.85747
INFLO 7 0.30303 0.28913 0.21518 0.19953 0.30556 0.29171 0.84637
INFLO 8 0.33333 0.32004 0.21488 0.19923 0.33333 0.32004 0.83602
COF 7 0.33333 0.32004 0.30989 0.29613 0.36735 0.35473 0.85376
COF 8 0.36364 0.35095 0.28274 0.26844 0.43636 0.42512 0.84095
COF 11 0.33333 0.32004 0.27548 0.26103 0.38596 0.37372 0.87084

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 1681 objects, 33 outliers (1.96%)

Download raw algorithm results (14.5 MB) Download raw algorithm evaluation table (58.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.24242 0.22725 0.15797 0.14111 0.28986 0.27563 0.79204
KNNW 2 0.24242 0.22725 0.13563 0.11832 0.24615 0.23106 0.81960
KNNW 4 0.18182 0.16543 0.14679 0.12970 0.22727 0.21180 0.79599
LOF 8 0.27273 0.25816 0.19124 0.17505 0.29032 0.27611 0.81237
LOF 10 0.27273 0.25816 0.19033 0.17412 0.29508 0.28097 0.81351
LOF 13 0.24242 0.22725 0.20407 0.18814 0.25714 0.24227 0.78170
LOF 100 0.12121 0.10362 0.09272 0.07455 0.20755 0.19168 0.83883
SimplifiedLOF 10 0.21212 0.19634 0.17916 0.16272 0.32877 0.31533 0.79882
SimplifiedLOF 14 0.24242 0.22725 0.20581 0.18991 0.26923 0.25460 0.82945
SimplifiedLOF 17 0.27273 0.25816 0.19054 0.17433 0.30508 0.29117 0.83539
SimplifiedLOF 18 0.30303 0.28907 0.18881 0.17257 0.30769 0.29383 0.83387
LoOP 10 0.27273 0.25816 0.14917 0.13213 0.28571 0.27141 0.78567
LoOP 12 0.24242 0.22725 0.18516 0.16884 0.27778 0.26332 0.79345
LoOP 14 0.21212 0.19634 0.16900 0.15236 0.24490 0.22978 0.80369
LoOP 17 0.27273 0.25816 0.17444 0.15790 0.29412 0.27998 0.80047
LDOF 13 0.18182 0.16543 0.15893 0.14209 0.20000 0.18398 0.69272
LDOF 21 0.15152 0.13452 0.12327 0.10572 0.23529 0.21998 0.75028
LDOF 99 0.15152 0.13452 0.09185 0.07367 0.19549 0.17938 0.79244
ODIN 24 0.21212 0.19634 0.09988 0.08185 0.21538 0.19967 0.73431
ODIN 94 0.06061 0.04180 0.12953 0.11209 0.20690 0.19102 0.81089
ODIN 99 0.08081 0.06240 0.12702 0.10954 0.22000 0.20438 0.81517
ODIN 100 0.09091 0.07271 0.12805 0.11059 0.22000 0.20438 0.81638
FastABOD 3 0.15152 0.13452 0.12102 0.10341 0.19200 0.17582 0.81894
FastABOD 4 0.30303 0.28907 0.15863 0.14179 0.30769 0.29383 0.80184
KDEOS 80 0.09091 0.07271 0.09822 0.08017 0.15000 0.13298 0.78847
KDEOS 82 0.12121 0.10362 0.08642 0.06812 0.15000 0.13298 0.78931
KDEOS 94 0.12121 0.10362 0.08687 0.06858 0.15686 0.13998 0.79143
KDEOS 97 0.12121 0.10362 0.08514 0.06682 0.17021 0.15360 0.79115
LDF 9 0.36364 0.35089 0.29019 0.27597 0.39344 0.38130 0.81930
LDF 97 0.12121 0.10362 0.09734 0.07927 0.23762 0.22236 0.84472
INFLO 6 0.27273 0.25816 0.16814 0.15148 0.30556 0.29165 0.75222
INFLO 8 0.27273 0.25816 0.18922 0.17298 0.32000 0.30638 0.77788
INFLO 100 0.12121 0.10362 0.09429 0.07615 0.22449 0.20896 0.81678
COF 9 0.18182 0.16543 0.15464 0.13772 0.23077 0.21537 0.82986
COF 16 0.30303 0.28907 0.20991 0.19409 0.31746 0.30379 0.80529
COF 26 0.27273 0.25816 0.18101 0.16461 0.32143 0.30784 0.73352

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 1688 objects, 33 outliers (1.95%)

Download raw algorithm results (14.5 MB) Download raw algorithm evaluation table (62.2 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.12121 0.10369 0.09650 0.07849 0.18301 0.16672 0.82507
KNNW 1 0.15152 0.13460 0.11962 0.10206 0.18868 0.17250 0.82178
KNNW 2 0.12121 0.10369 0.11127 0.09355 0.21348 0.19780 0.83579
LOF 6 0.18182 0.16550 0.09921 0.08125 0.19672 0.18070 0.82660
LOF 7 0.15152 0.13460 0.10934 0.09158 0.22378 0.20830 0.84395
LOF 8 0.15152 0.13460 0.11670 0.09909 0.25352 0.23864 0.82707
SimplifiedLOF 9 0.21212 0.19641 0.12052 0.10299 0.23377 0.21849 0.85201
SimplifiedLOF 14 0.18182 0.16550 0.13168 0.11436 0.27368 0.25920 0.87063
SimplifiedLOF 16 0.15152 0.13460 0.12893 0.11156 0.26446 0.24980 0.87323
SimplifiedLOF 20 0.12121 0.10369 0.11829 0.10071 0.27586 0.26142 0.85569
LoOP 10 0.18182 0.16550 0.12780 0.11041 0.23932 0.22415 0.84947
LoOP 12 0.18182 0.16550 0.11665 0.09904 0.21782 0.20223 0.85073
LoOP 14 0.21212 0.19641 0.12110 0.10357 0.23762 0.22242 0.85056
LoOP 18 0.15152 0.13460 0.11148 0.09376 0.25806 0.24327 0.83204
LDOF 12 0.12121 0.10369 0.13166 0.11434 0.23762 0.22242 0.81812
LDOF 13 0.15152 0.13460 0.12585 0.10842 0.25000 0.23505 0.82222
LDOF 15 0.21212 0.19641 0.12559 0.10816 0.23684 0.22163 0.81869
LDOF 16 0.18182 0.16550 0.12348 0.10601 0.21918 0.20361 0.82242
ODIN 9 0.22403 0.20855 0.10645 0.08864 0.24000 0.22485 0.78154
ODIN 11 0.21989 0.20434 0.11533 0.09769 0.25000 0.23505 0.79151
ODIN 16 0.13834 0.12116 0.09797 0.07998 0.18182 0.16550 0.79339
ODIN 23 0.15260 0.13570 0.14043 0.12329 0.20513 0.18928 0.77142
FastABOD 3 0.18182 0.16550 0.09354 0.07547 0.19355 0.17747 0.82628
FastABOD 5 0.15152 0.13460 0.11365 0.09598 0.20000 0.18405 0.85430
FastABOD 7 0.09091 0.07278 0.10543 0.08759 0.21000 0.19425 0.85104
KDEOS 65 0.15152 0.13460 0.11436 0.09670 0.16949 0.15293 0.80453
KDEOS 75 0.18182 0.16550 0.08685 0.06864 0.19355 0.17747 0.80797
KDEOS 88 0.12121 0.10369 0.09459 0.07654 0.20690 0.19108 0.82158
KDEOS 89 0.12121 0.10369 0.09665 0.07864 0.21176 0.19605 0.82114
LDF 6 0.21212 0.19641 0.11483 0.09718 0.22222 0.20671 0.81975
LDF 10 0.15152 0.13460 0.12025 0.10271 0.19231 0.17620 0.77943
LDF 96 0.06061 0.04187 0.07101 0.05248 0.16149 0.14477 0.82553
INFLO 8 0.15152 0.13460 0.14291 0.12582 0.23423 0.21897 0.83385
INFLO 10 0.21212 0.19641 0.12125 0.10373 0.26829 0.25370 0.82724
INFLO 11 0.21212 0.19641 0.11268 0.09499 0.27160 0.25708 0.81951
COF 10 0.15152 0.13460 0.09739 0.07939 0.19469 0.17863 0.84483
COF 18 0.12121 0.10369 0.13815 0.12096 0.21687 0.20125 0.78955
COF 26 0.21212 0.19641 0.13361 0.11634 0.23333 0.21805 0.75575

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO