Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Cardiotocography (2% of outliers version#02)

Data set related to heart diseases. It describes 3 classes: normal, suspect, or pathological. Normal patients are treated as inliers and the remaining as outliers.

Download all data set variants used (8.8 MB). You can also access the original data. (CTG.xls)

Normalized, without duplicates

This version contains 21 attributes, 1681 objects, 33 outliers (1.96%)

Download raw algorithm results (14.6 MB) Download raw algorithm evaluation table (59.0 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.24242 0.22725 0.22175 0.20617 0.31111 0.29732 0.78102
KNN 100 0.21212 0.19634 0.23428 0.21894 0.28571 0.27141 0.76438
KNNW 2 0.21212 0.19634 0.19688 0.18080 0.28000 0.26558 0.79496
KNNW 3 0.24242 0.22725 0.21482 0.19910 0.29787 0.28381 0.78771
KNNW 4 0.24242 0.22725 0.21009 0.19427 0.30435 0.29042 0.77824
LOF 6 0.27273 0.25816 0.22549 0.20998 0.32653 0.31304 0.74551
LOF 7 0.24242 0.22725 0.25479 0.23987 0.31373 0.29998 0.74331
LOF 100 0.15152 0.13452 0.13665 0.11936 0.20870 0.19285 0.82046
SimplifiedLOF 9 0.30303 0.28907 0.29332 0.27917 0.37500 0.36248 0.77260
SimplifiedLOF 10 0.30303 0.28907 0.27692 0.26244 0.38298 0.37062 0.77488
SimplifiedLOF 14 0.33333 0.31998 0.22620 0.21070 0.34921 0.33617 0.79203
SimplifiedLOF 18 0.21212 0.19634 0.18819 0.17194 0.25000 0.23498 0.80787
LoOP 9 0.30303 0.28907 0.21331 0.19756 0.33333 0.31998 0.76226
LoOP 98 0.15152 0.13452 0.12958 0.11215 0.21569 0.19998 0.79511
LDOF 11 0.30303 0.28907 0.16055 0.14374 0.31579 0.30209 0.66621
LDOF 15 0.30303 0.28907 0.16492 0.14820 0.35088 0.33788 0.68890
LDOF 19 0.30303 0.28907 0.17500 0.15848 0.31373 0.29998 0.72648
LDOF 89 0.12121 0.10362 0.13630 0.11901 0.21488 0.19915 0.78937
ODIN 40 0.21212 0.19634 0.10331 0.08536 0.22857 0.21312 0.75791
ODIN 59 0.21212 0.19634 0.10379 0.08584 0.23333 0.21798 0.76663
ODIN 98 0.14141 0.12422 0.12898 0.11154 0.19277 0.17661 0.78864
ODIN 100 0.15152 0.13452 0.12954 0.11211 0.19277 0.17661 0.78833
FastABOD 4 0.24242 0.22725 0.14287 0.12571 0.26087 0.24607 0.82458
FastABOD 6 0.21212 0.19634 0.14987 0.13285 0.21538 0.19967 0.83129
FastABOD 12 0.24242 0.22725 0.16434 0.14761 0.24615 0.23106 0.80777
FastABOD 66 0.24242 0.22725 0.15486 0.13794 0.28070 0.26630 0.81438
KDEOS 6 0.06061 0.04180 0.03041 0.01099 0.06557 0.04686 0.63291
KDEOS 20 0.06061 0.04180 0.05264 0.03367 0.11646 0.09876 0.76348
KDEOS 38 0.00000 -0.02002 0.04788 0.02881 0.13793 0.12067 0.73678
LDF 11 0.21212 0.19634 0.17704 0.16056 0.22857 0.21312 0.82881
LDF 64 0.30303 0.28907 0.24186 0.22668 0.31169 0.29791 0.78553
LDF 72 0.24242 0.22725 0.25123 0.23623 0.33333 0.31998 0.78194
LDF 74 0.21212 0.19634 0.26292 0.24816 0.32432 0.31079 0.78233
INFLO 7 0.24242 0.22725 0.20533 0.18942 0.31373 0.29998 0.73904
INFLO 8 0.27273 0.25816 0.23150 0.21611 0.31373 0.29998 0.77326
INFLO 95 0.18182 0.16543 0.14386 0.12672 0.20968 0.19385 0.81094
COF 10 0.33333 0.31998 0.33421 0.32088 0.40909 0.39726 0.83442
COF 11 0.30303 0.28907 0.34433 0.33120 0.40909 0.39726 0.83848

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 1688 objects, 33 outliers (1.95%)

Download raw algorithm results (14.6 MB) Download raw algorithm evaluation table (60.0 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.24242 0.22732 0.19099 0.17486 0.27273 0.25823 0.71783
KNN 79 0.21212 0.19641 0.23262 0.21732 0.32143 0.30790 0.82895
KNN 92 0.21212 0.19641 0.23482 0.21956 0.30928 0.29551 0.83036
KNN 100 0.21212 0.19641 0.23530 0.22005 0.31250 0.29879 0.83028
KNNW 1 0.21212 0.19641 0.21537 0.19972 0.31818 0.30459 0.71771
KNNW 3 0.24242 0.22732 0.19670 0.18068 0.29787 0.28387 0.72046
KNNW 100 0.18182 0.16550 0.21659 0.20097 0.28099 0.26666 0.82214
LOF 2 0.24242 0.22732 0.10181 0.08390 0.25806 0.24327 0.66952
LOF 4 0.21212 0.19641 0.15874 0.14197 0.29787 0.28387 0.69886
LOF 6 0.21212 0.19641 0.17789 0.16150 0.24561 0.23057 0.75454
LOF 100 0.15152 0.13460 0.16811 0.15152 0.26531 0.25066 0.83331
SimplifiedLOF 7 0.27273 0.25823 0.17208 0.15557 0.29851 0.28452 0.75368
SimplifiedLOF 10 0.27273 0.25823 0.18830 0.17211 0.29508 0.28103 0.75580
SimplifiedLOF 11 0.27273 0.25823 0.18522 0.16897 0.30952 0.29576 0.76583
SimplifiedLOF 100 0.15152 0.13460 0.15738 0.14058 0.26667 0.25204 0.82805
LoOP 5 0.24242 0.22732 0.17058 0.15404 0.29787 0.28387 0.74282
LoOP 6 0.27273 0.25823 0.15362 0.13674 0.28571 0.27147 0.74050
LoOP 11 0.24242 0.22732 0.17517 0.15872 0.29730 0.28329 0.76759
LoOP 100 0.18182 0.16550 0.15348 0.13660 0.26804 0.25345 0.82543
LDOF 11 0.30303 0.28913 0.15028 0.13333 0.31034 0.29659 0.75518
LDOF 12 0.27273 0.25823 0.14891 0.13194 0.31579 0.30215 0.73040
LDOF 35 0.24242 0.22732 0.16661 0.14999 0.27119 0.25665 0.74642
LDOF 99 0.12121 0.10369 0.13188 0.11457 0.20472 0.18887 0.80716
ODIN 30 0.21212 0.19641 0.15364 0.13677 0.22727 0.21186 0.78187
ODIN 60 0.21212 0.19641 0.17863 0.16225 0.27451 0.26004 0.81502
ODIN 64 0.21212 0.19641 0.18078 0.16444 0.27451 0.26004 0.82024
ODIN 100 0.18182 0.16550 0.16212 0.14542 0.23256 0.21726 0.83044
FastABOD 4 0.24242 0.22732 0.14972 0.13277 0.28986 0.27570 0.80044
FastABOD 5 0.27273 0.25823 0.17214 0.15563 0.29032 0.27617 0.77905
KDEOS 6 0.15152 0.13460 0.05644 0.03763 0.17910 0.16274 0.70125
KDEOS 7 0.15152 0.13460 0.07664 0.05823 0.19608 0.18005 0.68705
KDEOS 98 0.09091 0.07278 0.05801 0.03923 0.13043 0.11310 0.76098
LDF 73 0.42424 0.41276 0.23898 0.22381 0.42424 0.41276 0.82486
LDF 96 0.39394 0.38185 0.28614 0.27191 0.41791 0.40630 0.83384
LDF 99 0.42424 0.41276 0.31656 0.30293 0.43750 0.42628 0.83129
INFLO 4 0.27273 0.25823 0.15589 0.13906 0.29630 0.28226 0.74058
INFLO 7 0.24242 0.22732 0.17783 0.16144 0.26230 0.24759 0.71354
INFLO 100 0.18182 0.16550 0.15975 0.14299 0.25743 0.24262 0.82613
COF 4 0.27273 0.25823 0.13568 0.11845 0.30000 0.28604 0.72366
COF 16 0.21212 0.19641 0.17945 0.16309 0.27451 0.26004 0.65308
COF 100 0.21212 0.19641 0.14186 0.12475 0.26667 0.25204 0.75662

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 1681 objects, 33 outliers (1.96%)

Download raw algorithm results (14.5 MB) Download raw algorithm evaluation table (60.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.18182 0.16543 0.12990 0.11247 0.20588 0.18998 0.79949
KNNW 1 0.21212 0.19634 0.14027 0.12306 0.22857 0.21312 0.75929
KNNW 2 0.21212 0.19634 0.14818 0.13112 0.21875 0.20311 0.79801
KNNW 4 0.15152 0.13452 0.11042 0.09260 0.20290 0.18694 0.80049
LOF 6 0.24242 0.22725 0.11585 0.09815 0.24390 0.22876 0.74211
LOF 8 0.21212 0.19634 0.13618 0.11888 0.24742 0.23235 0.76030
LOF 100 0.09091 0.07271 0.08910 0.07086 0.16176 0.14498 0.83249
SimplifiedLOF 9 0.21212 0.19634 0.12874 0.11129 0.21818 0.20253 0.74544
SimplifiedLOF 12 0.12121 0.10362 0.14413 0.12700 0.23656 0.22127 0.78227
SimplifiedLOF 16 0.15152 0.13452 0.13453 0.11720 0.25806 0.24321 0.80820
SimplifiedLOF 23 0.18182 0.16543 0.10500 0.08708 0.20202 0.18604 0.82191
LoOP 8 0.18182 0.16543 0.11837 0.10071 0.22917 0.21373 0.73607
LoOP 9 0.15152 0.13452 0.11564 0.09793 0.23810 0.22284 0.73345
LoOP 14 0.15152 0.13452 0.14056 0.12335 0.20779 0.19193 0.76971
LoOP 23 0.18182 0.16543 0.09435 0.07621 0.21429 0.19855 0.80196
LDOF 15 0.15152 0.13452 0.12107 0.10347 0.18919 0.17295 0.66529
LDOF 17 0.15152 0.13452 0.08632 0.06803 0.20588 0.18998 0.68724
LDOF 18 0.18182 0.16543 0.08832 0.07007 0.20000 0.18398 0.68022
LDOF 93 0.09091 0.07271 0.08770 0.06943 0.16901 0.15237 0.77532
ODIN 16 0.16919 0.15256 0.08448 0.06615 0.19231 0.17613 0.75639
ODIN 96 0.09091 0.07271 0.09933 0.08129 0.21053 0.19472 0.80062
ODIN 100 0.09091 0.07271 0.10093 0.08292 0.20339 0.18744 0.80311
FastABOD 3 0.18182 0.16543 0.12035 0.10274 0.18182 0.16543 0.80761
FastABOD 4 0.15152 0.13452 0.14284 0.12568 0.18182 0.16543 0.82960
FastABOD 6 0.15152 0.13452 0.14030 0.12309 0.20000 0.18398 0.80117
KDEOS 87 0.12121 0.10362 0.12258 0.10501 0.16092 0.14412 0.80485
KDEOS 90 0.15152 0.13452 0.11838 0.10072 0.16162 0.14483 0.80042
KDEOS 95 0.12121 0.10362 0.12339 0.10583 0.16981 0.15319 0.79260
KDEOS 100 0.12121 0.10362 0.13583 0.11853 0.16981 0.15319 0.79036
LDF 7 0.24242 0.22725 0.14699 0.12991 0.27586 0.26136 0.81333
LDF 8 0.24242 0.22725 0.18241 0.16604 0.31373 0.29998 0.83553
LDF 100 0.09091 0.07271 0.09556 0.07745 0.18421 0.16787 0.86332
INFLO 7 0.18182 0.16543 0.11476 0.09703 0.21951 0.20388 0.73191
INFLO 8 0.18182 0.16543 0.12880 0.11135 0.24658 0.23149 0.75212
INFLO 100 0.09091 0.07271 0.08610 0.06780 0.17241 0.15584 0.80588
COF 11 0.21212 0.19634 0.11728 0.09960 0.24000 0.22478 0.77264
COF 12 0.18182 0.16543 0.12086 0.10326 0.25000 0.23498 0.77927
COF 16 0.18182 0.16543 0.15558 0.13867 0.22785 0.21239 0.79912
COF 23 0.12121 0.10362 0.13663 0.11935 0.21311 0.19736 0.81418

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 1688 objects, 33 outliers (1.95%)

Download raw algorithm results (14.6 MB) Download raw algorithm evaluation table (61.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.21212 0.19641 0.13142 0.11410 0.25352 0.23864 0.81063
KNN 65 0.15152 0.13460 0.11002 0.09228 0.22667 0.21125 0.81882
KNNW 1 0.30303 0.28913 0.18419 0.16792 0.32787 0.31447 0.76777
KNNW 100 0.15152 0.13460 0.10642 0.08860 0.20915 0.19338 0.81939
LOF 6 0.21212 0.19641 0.13426 0.11700 0.31461 0.30094 0.79434
LOF 7 0.24242 0.22732 0.12906 0.11170 0.26374 0.24906 0.81533
LOF 9 0.24242 0.22732 0.13587 0.11864 0.24242 0.22732 0.82237
LOF 12 0.24242 0.22732 0.10552 0.08768 0.24615 0.23112 0.85799
SimplifiedLOF 8 0.24242 0.22732 0.17093 0.15440 0.28169 0.26737 0.78105
SimplifiedLOF 9 0.27273 0.25823 0.17019 0.15364 0.30000 0.28604 0.79507
SimplifiedLOF 14 0.27273 0.25823 0.16754 0.15094 0.31579 0.30215 0.85777
SimplifiedLOF 22 0.24242 0.22732 0.12826 0.11087 0.24615 0.23112 0.86974
LoOP 7 0.27273 0.25823 0.18226 0.16596 0.33333 0.32004 0.75963
LoOP 9 0.30303 0.28913 0.16705 0.15044 0.31746 0.30385 0.77431
LoOP 25 0.15152 0.13460 0.11532 0.09768 0.21333 0.19765 0.85182
LDOF 8 0.24242 0.22732 0.18738 0.17118 0.28571 0.27147 0.72821
LDOF 17 0.33333 0.32004 0.17082 0.15429 0.34286 0.32975 0.75593
LDOF 94 0.18182 0.16550 0.11767 0.10007 0.23140 0.21608 0.83490
ODIN 74 0.20000 0.18405 0.13937 0.12221 0.21918 0.20361 0.80735
ODIN 97 0.13853 0.12135 0.15706 0.14025 0.24359 0.22851 0.81620
ODIN 99 0.14646 0.12945 0.15858 0.14180 0.23841 0.22322 0.81801
ODIN 100 0.14646 0.12945 0.15727 0.14047 0.23750 0.22230 0.81826
FastABOD 5 0.27273 0.25823 0.18271 0.16642 0.29851 0.28452 0.78118
FastABOD 7 0.30303 0.28913 0.16113 0.14441 0.30769 0.29389 0.79231
KDEOS 13 0.12121 0.10369 0.04853 0.02956 0.12121 0.10369 0.71460
KDEOS 85 0.09091 0.07278 0.10324 0.08536 0.16901 0.15244 0.82461
KDEOS 95 0.06061 0.04187 0.08256 0.06427 0.16580 0.14917 0.82988
KDEOS 100 0.09091 0.07278 0.08347 0.06519 0.17610 0.15967 0.82684
LDF 6 0.21212 0.19641 0.13926 0.12209 0.25532 0.24047 0.80249
LDF 8 0.21212 0.19641 0.14903 0.13206 0.29167 0.27754 0.76468
LDF 9 0.21212 0.19641 0.16557 0.14893 0.28000 0.26564 0.79275
LDF 99 0.15152 0.13460 0.14018 0.12304 0.28302 0.26872 0.86396
INFLO 4 0.27273 0.25823 0.15155 0.13463 0.28571 0.27147 0.72032
INFLO 5 0.27273 0.25823 0.17712 0.16071 0.30588 0.29204 0.76104
INFLO 6 0.27273 0.25823 0.17071 0.15417 0.30769 0.29389 0.72951
INFLO 11 0.24242 0.22732 0.14874 0.13177 0.26966 0.25510 0.83592
COF 6 0.24242 0.22732 0.13000 0.11265 0.27848 0.26409 0.75883
COF 13 0.18182 0.16550 0.14560 0.12856 0.20000 0.18405 0.79912
COF 15 0.15152 0.13460 0.18766 0.17146 0.22222 0.20671 0.79656

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO