Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Cardiotocography (2% of outliers version#07)

Data set related to heart diseases. It describes 3 classes: normal, suspect, or pathological. Normal patients are treated as inliers and the remaining as outliers.

Download all data set variants used (8.8 MB). You can also access the original data. (CTG.xls)

Normalized, without duplicates

This version contains 21 attributes, 1681 objects, 33 outliers (1.96%)

Download raw algorithm results (14.6 MB) Download raw algorithm evaluation table (59.0 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.18182 0.16543 0.17586 0.15936 0.23810 0.22284 0.83048
KNN 95 0.18182 0.16543 0.18484 0.16852 0.21053 0.19472 0.76125
KNNW 1 0.21212 0.19634 0.14602 0.12892 0.23333 0.21798 0.76020
KNNW 2 0.21212 0.19634 0.16471 0.14798 0.23684 0.22156 0.81454
KNNW 3 0.21212 0.19634 0.16547 0.14876 0.22951 0.21408 0.81976
LOF 4 0.30303 0.28907 0.20183 0.18585 0.30769 0.29383 0.84777
LOF 5 0.27273 0.25816 0.18399 0.16765 0.31034 0.29653 0.84358
LOF 7 0.24242 0.22725 0.23017 0.21476 0.26230 0.24752 0.80697
SimplifiedLOF 5 0.30303 0.28907 0.22794 0.21248 0.33803 0.32477 0.85650
SimplifiedLOF 8 0.27273 0.25816 0.27430 0.25977 0.34615 0.33306 0.86652
SimplifiedLOF 10 0.30303 0.28907 0.26459 0.24986 0.35556 0.34265 0.86932
LoOP 8 0.33333 0.31998 0.22026 0.20465 0.35484 0.34192 0.86454
LoOP 9 0.33333 0.31998 0.22051 0.20490 0.34921 0.33617 0.86375
LDOF 8 0.27273 0.25816 0.14423 0.12709 0.30508 0.29117 0.80891
LDOF 11 0.27273 0.25816 0.19771 0.18164 0.34783 0.33477 0.82293
LDOF 12 0.24242 0.22725 0.20020 0.18419 0.32558 0.31208 0.82134
LDOF 19 0.18182 0.16543 0.13366 0.11631 0.22642 0.21092 0.83629
ODIN 8 0.13758 0.12031 0.07637 0.05788 0.14035 0.12314 0.82328
ODIN 12 0.15152 0.13452 0.07956 0.06113 0.16162 0.14483 0.82315
ODIN 22 0.14646 0.12937 0.07691 0.05843 0.17722 0.16074 0.78553
ODIN 73 0.09091 0.07271 0.09077 0.07256 0.14151 0.12432 0.80108
FastABOD 4 0.15152 0.13452 0.12031 0.10269 0.17178 0.15519 0.81368
FastABOD 5 0.15152 0.13452 0.11782 0.10015 0.20690 0.19102 0.82381
FastABOD 8 0.15152 0.13452 0.13009 0.11267 0.19847 0.18242 0.82745
KDEOS 12 0.06061 0.04180 0.06988 0.05126 0.16176 0.14498 0.81127
KDEOS 16 0.12121 0.10362 0.07182 0.05324 0.13580 0.11850 0.83273
KDEOS 20 0.12121 0.10362 0.08726 0.06898 0.15385 0.13690 0.84762
LDF 3 0.21212 0.19634 0.19212 0.17594 0.28000 0.26558 0.79455
LDF 13 0.06061 0.04180 0.06157 0.04278 0.12593 0.10842 0.80755
LDF 55 0.24242 0.22725 0.15610 0.13920 0.24242 0.22725 0.77503
LDF 100 0.21212 0.19634 0.20008 0.18407 0.23881 0.22356 0.76502
INFLO 5 0.27273 0.25816 0.16043 0.14362 0.29032 0.27611 0.84255
INFLO 6 0.24242 0.22725 0.16150 0.14471 0.29412 0.27998 0.82530
INFLO 8 0.24242 0.22725 0.20068 0.18467 0.28000 0.26558 0.82503
COF 8 0.27273 0.25816 0.34027 0.32706 0.39024 0.37803 0.85450
COF 9 0.33333 0.31998 0.35182 0.33884 0.39024 0.37803 0.84139
COF 11 0.30303 0.28907 0.35805 0.34519 0.44444 0.43332 0.84074

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 1688 objects, 33 outliers (1.95%)

Download raw algorithm results (14.6 MB) Download raw algorithm evaluation table (60.2 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.21212 0.19641 0.15744 0.14064 0.23529 0.22005 0.77578
KNN 93 0.15152 0.13460 0.18335 0.16706 0.24490 0.22984 0.81977
KNN 97 0.15152 0.13460 0.18253 0.16623 0.25263 0.23773 0.82092
KNN 98 0.15152 0.13460 0.18229 0.16599 0.25263 0.23773 0.82115
KNNW 1 0.18182 0.16550 0.14980 0.13284 0.25532 0.24047 0.80140
KNNW 3 0.18182 0.16550 0.16957 0.15301 0.24490 0.22984 0.79883
KNNW 100 0.12121 0.10369 0.16458 0.14792 0.22222 0.20671 0.80941
LOF 7 0.24242 0.22732 0.18878 0.17260 0.26866 0.25407 0.71226
LOF 8 0.27273 0.25823 0.17441 0.15795 0.27273 0.25823 0.72266
LOF 100 0.15152 0.13460 0.12970 0.11235 0.21053 0.19478 0.83935
SimplifiedLOF 8 0.24242 0.22732 0.19629 0.18027 0.25287 0.23798 0.74108
SimplifiedLOF 10 0.24242 0.22732 0.21317 0.19748 0.27451 0.26004 0.74617
SimplifiedLOF 11 0.24242 0.22732 0.21587 0.20023 0.25926 0.24449 0.75391
SimplifiedLOF 100 0.15152 0.13460 0.12644 0.10902 0.21739 0.20179 0.83120
LoOP 9 0.24242 0.22732 0.17838 0.16200 0.25000 0.23505 0.75717
LoOP 10 0.24242 0.22732 0.18309 0.16680 0.26230 0.24759 0.75186
LoOP 11 0.24242 0.22732 0.18278 0.16649 0.26667 0.25204 0.75099
LoOP 100 0.15152 0.13460 0.11761 0.10002 0.21333 0.19765 0.82433
LDOF 11 0.21212 0.19641 0.16345 0.14677 0.24242 0.22732 0.70871
LDOF 16 0.27273 0.25823 0.12545 0.10801 0.27692 0.26251 0.73233
LDOF 19 0.21212 0.19641 0.11701 0.09940 0.28000 0.26564 0.73615
LDOF 81 0.12121 0.10369 0.10769 0.08990 0.16867 0.15210 0.80729
ODIN 14 0.20563 0.18979 0.10390 0.08603 0.23810 0.22290 0.76508
ODIN 38 0.20707 0.19126 0.09475 0.07670 0.20896 0.19318 0.78453
ODIN 100 0.09697 0.07896 0.09019 0.07205 0.18462 0.16836 0.83061
FastABOD 6 0.21212 0.19641 0.15062 0.13369 0.25000 0.23505 0.84858
FastABOD 8 0.24242 0.22732 0.16074 0.14400 0.24615 0.23112 0.84929
FastABOD 100 0.12121 0.10369 0.12195 0.10444 0.20930 0.19354 0.87033
KDEOS 16 0.09091 0.07278 0.06953 0.05098 0.15789 0.14110 0.77682
KDEOS 22 0.15152 0.13460 0.07953 0.06117 0.16949 0.15293 0.76270
KDEOS 23 0.09091 0.07278 0.08000 0.06165 0.18349 0.16721 0.75785
KDEOS 27 0.12121 0.10369 0.09004 0.07190 0.16000 0.14325 0.74263
LDF 90 0.30303 0.28913 0.21928 0.20371 0.31884 0.30526 0.82146
LDF 96 0.30303 0.28913 0.22843 0.21305 0.33898 0.32580 0.82430
LDF 98 0.30303 0.28913 0.23128 0.21596 0.35088 0.33793 0.82391
LDF 100 0.30303 0.28913 0.23305 0.21776 0.35088 0.33793 0.82413
INFLO 4 0.21212 0.19641 0.17515 0.15871 0.23333 0.21805 0.75520
INFLO 7 0.21212 0.19641 0.18503 0.16878 0.27451 0.26004 0.75072
INFLO 97 0.15152 0.13460 0.12821 0.11083 0.20548 0.18964 0.83342
COF 7 0.27273 0.25823 0.23908 0.22391 0.29091 0.27677 0.74222
COF 9 0.27273 0.25823 0.24595 0.23091 0.34043 0.32727 0.75470
COF 10 0.24242 0.22732 0.24296 0.22787 0.34783 0.33482 0.76170
COF 53 0.09091 0.07278 0.10844 0.09066 0.17647 0.16005 0.80890

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 1681 objects, 33 outliers (1.96%)

Download raw algorithm results (14.5 MB) Download raw algorithm evaluation table (61.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.12121 0.10362 0.08221 0.06383 0.16129 0.14450 0.83511
KNNW 1 0.09091 0.07271 0.09091 0.07271 0.16438 0.14765 0.74468
KNNW 2 0.12121 0.10362 0.08598 0.06768 0.15306 0.13610 0.82535
KNNW 3 0.12121 0.10362 0.07776 0.05929 0.15315 0.13620 0.83217
LOF 5 0.33333 0.31998 0.17721 0.16074 0.33333 0.31998 0.81691
LOF 6 0.33333 0.31998 0.19770 0.18164 0.33333 0.31998 0.83519
LOF 9 0.30303 0.28907 0.19456 0.17843 0.32432 0.31079 0.86524
SimplifiedLOF 7 0.33333 0.31998 0.20429 0.18836 0.33333 0.31998 0.83217
SimplifiedLOF 11 0.30303 0.28907 0.20735 0.19148 0.32258 0.30902 0.85349
SimplifiedLOF 13 0.30303 0.28907 0.20516 0.18925 0.34783 0.33477 0.86353
SimplifiedLOF 22 0.21212 0.19634 0.12211 0.10453 0.21875 0.20311 0.87149
LoOP 7 0.30303 0.28907 0.20185 0.18586 0.32836 0.31491 0.82292
LoOP 8 0.27273 0.25816 0.20383 0.18788 0.30137 0.28738 0.83667
LoOP 13 0.27273 0.25816 0.18338 0.16703 0.30769 0.29383 0.86121
LDOF 18 0.33333 0.31998 0.18312 0.16676 0.35135 0.33836 0.79796
LDOF 45 0.18182 0.16543 0.11408 0.09634 0.23404 0.21870 0.82024
ODIN 9 0.15758 0.14071 0.11049 0.09268 0.23704 0.22176 0.80986
ODIN 11 0.18847 0.17222 0.10043 0.08242 0.20619 0.19029 0.82102
ODIN 14 0.21390 0.19816 0.09544 0.07733 0.21875 0.20311 0.79633
ODIN 22 0.19481 0.17868 0.11141 0.09361 0.20000 0.18398 0.78809
FastABOD 4 0.12121 0.10362 0.10850 0.09065 0.16970 0.15307 0.80606
FastABOD 5 0.12121 0.10362 0.09631 0.07821 0.18803 0.17178 0.81290
FastABOD 9 0.06061 0.04180 0.09024 0.07203 0.19298 0.17682 0.80698
KDEOS 68 0.15152 0.13452 0.11240 0.09462 0.20513 0.18921 0.84503
KDEOS 86 0.21212 0.19634 0.12976 0.11233 0.24096 0.22576 0.83067
KDEOS 90 0.18182 0.16543 0.12703 0.10955 0.25641 0.24152 0.83023
KDEOS 98 0.18182 0.16543 0.15717 0.14029 0.21176 0.19598 0.82975
LDF 3 0.30303 0.28907 0.19741 0.18134 0.32500 0.31148 0.76410
LDF 7 0.18182 0.16543 0.12451 0.10698 0.22642 0.21092 0.86095
INFLO 6 0.33333 0.31998 0.20098 0.18498 0.33962 0.32640 0.80163
INFLO 7 0.30303 0.28907 0.19974 0.18371 0.35088 0.33788 0.83081
INFLO 9 0.30303 0.28907 0.20184 0.18585 0.34483 0.33171 0.84747
COF 7 0.24242 0.22725 0.20388 0.18793 0.31111 0.29732 0.82155
COF 9 0.27273 0.25816 0.18013 0.16371 0.27273 0.25816 0.83173
COF 15 0.21212 0.19634 0.19383 0.17769 0.28571 0.27141 0.84131

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 1688 objects, 33 outliers (1.95%)

Download raw algorithm results (14.6 MB) Download raw algorithm evaluation table (61.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.18182 0.16550 0.10568 0.08785 0.19178 0.17567 0.80233
KNN 2 0.12121 0.10369 0.07228 0.05378 0.15730 0.14050 0.80478
KNNW 1 0.15152 0.13460 0.10696 0.08916 0.18519 0.16894 0.85195
KNNW 2 0.18182 0.16550 0.09877 0.08080 0.19048 0.17433 0.83321
LOF 6 0.24242 0.22732 0.14093 0.12380 0.28070 0.26636 0.74560
LOF 8 0.24242 0.22732 0.17244 0.15594 0.30435 0.29048 0.78828
LOF 9 0.24242 0.22732 0.18054 0.16420 0.29167 0.27754 0.79626
LOF 14 0.15152 0.13460 0.12468 0.10723 0.17544 0.15900 0.83885
SimplifiedLOF 8 0.24242 0.22732 0.14888 0.13191 0.28070 0.26636 0.74961
SimplifiedLOF 13 0.24242 0.22732 0.18079 0.16446 0.29167 0.27754 0.80225
SimplifiedLOF 24 0.15152 0.13460 0.11449 0.09683 0.20000 0.18405 0.86529
LoOP 9 0.24242 0.22732 0.13390 0.11663 0.24242 0.22732 0.74879
LoOP 13 0.21212 0.19641 0.15793 0.14114 0.26923 0.25466 0.79121
LoOP 15 0.21212 0.19641 0.14730 0.13030 0.27451 0.26004 0.79789
LoOP 22 0.15152 0.13460 0.11761 0.10001 0.21311 0.19742 0.84393
LDOF 16 0.24242 0.22732 0.15248 0.13558 0.25000 0.23505 0.72691
LDOF 18 0.21212 0.19641 0.14508 0.12804 0.26087 0.24613 0.73857
LDOF 100 0.06061 0.04187 0.08464 0.06638 0.18045 0.16411 0.82844
ODIN 20 0.15427 0.13741 0.14970 0.13274 0.21053 0.19478 0.78744
ODIN 22 0.15152 0.13460 0.15310 0.13622 0.21053 0.19478 0.79398
ODIN 39 0.17355 0.15707 0.13003 0.11269 0.19608 0.18005 0.80132
ODIN 44 0.15152 0.13460 0.13394 0.11667 0.19512 0.17907 0.80578
FastABOD 4 0.12121 0.10369 0.10726 0.08946 0.17045 0.15391 0.84477
FastABOD 10 0.18182 0.16550 0.10519 0.08735 0.19048 0.17433 0.85458
FastABOD 11 0.18182 0.16550 0.10651 0.08869 0.19355 0.17747 0.85616
KDEOS 75 0.15152 0.13460 0.10114 0.08321 0.15152 0.13460 0.83761
KDEOS 78 0.12121 0.10369 0.10916 0.09140 0.14634 0.12932 0.83964
KDEOS 86 0.12121 0.10369 0.10394 0.08607 0.16092 0.14419 0.84689
KDEOS 90 0.12121 0.10369 0.09685 0.07884 0.16867 0.15210 0.84539
LDF 6 0.21212 0.19641 0.17272 0.15622 0.27273 0.25823 0.74613
LDF 7 0.24242 0.22732 0.16727 0.15066 0.26667 0.25204 0.75730
LDF 8 0.24242 0.22732 0.18674 0.17053 0.25397 0.23909 0.87201
INFLO 6 0.24242 0.22732 0.15424 0.13737 0.29167 0.27754 0.72240
INFLO 8 0.24242 0.22732 0.17624 0.15982 0.32000 0.30644 0.72570
INFLO 9 0.24242 0.22732 0.18130 0.16498 0.30769 0.29389 0.75845
INFLO 47 0.09091 0.07278 0.07673 0.05832 0.16114 0.14441 0.82122
COF 13 0.21212 0.19641 0.14290 0.12580 0.22222 0.20671 0.79639
COF 18 0.15152 0.13460 0.15397 0.13710 0.19444 0.17838 0.82699
COF 20 0.12121 0.10369 0.10914 0.09138 0.19048 0.17433 0.83933

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO