Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Cardiotocography (10% of outliers version#06)

Data set related to heart diseases. It describes 3 classes: normal, suspect, or pathological. Normal patients are treated as inliers and the remaining as outliers.

Download all data set variants used (8.8 MB). You can also access the original data. (CTG.xls)

Normalized, without duplicates

This version contains 21 attributes, 1831 objects, 183 outliers (9.99%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (72.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 55 0.34973 0.27752 0.33463 0.26074 0.38855 0.32065 0.73464
KNN 98 0.37158 0.30180 0.35725 0.28587 0.38563 0.31741 0.74751
KNN 99 0.37158 0.30180 0.35801 0.28672 0.38491 0.31660 0.74792
KNN 100 0.36612 0.29573 0.35873 0.28752 0.38710 0.31904 0.74790
KNNW 95 0.34426 0.27145 0.32382 0.24874 0.37021 0.30028 0.72609
KNNW 100 0.33880 0.26538 0.32565 0.25076 0.37238 0.30269 0.72749
LOF 99 0.30601 0.22895 0.24887 0.16547 0.36334 0.29265 0.76784
LOF 100 0.30055 0.22288 0.25011 0.16684 0.36160 0.29071 0.76823
SimplifiedLOF 18 0.29508 0.21681 0.20654 0.11843 0.31507 0.23901 0.63805
SimplifiedLOF 34 0.26230 0.18038 0.20479 0.11649 0.33396 0.26000 0.66382
SimplifiedLOF 100 0.27869 0.19859 0.22017 0.13357 0.33031 0.25594 0.72492
LoOP 20 0.27322 0.19252 0.19315 0.10356 0.29234 0.21376 0.63561
LoOP 99 0.26230 0.18038 0.20797 0.12003 0.31862 0.24295 0.70969
LoOP 100 0.26776 0.18645 0.20925 0.12144 0.31765 0.24188 0.71008
LDOF 20 0.27322 0.19252 0.19236 0.10268 0.29064 0.21187 0.62186
LDOF 92 0.23497 0.15002 0.20189 0.11327 0.32099 0.24559 0.68313
LDOF 100 0.23497 0.15002 0.20339 0.11493 0.31388 0.23769 0.68766
ODIN 95 0.21038 0.12270 0.19788 0.10881 0.31313 0.23686 0.71213
ODIN 99 0.21390 0.12660 0.19902 0.11008 0.31250 0.23616 0.71475
ODIN 100 0.21546 0.12834 0.19880 0.10983 0.30995 0.23333 0.71549
FastABOD 18 0.27322 0.19252 0.21117 0.12357 0.28866 0.20967 0.65017
FastABOD 21 0.28415 0.20466 0.20967 0.12191 0.29158 0.21292 0.64962
FastABOD 26 0.27869 0.19859 0.20995 0.12222 0.29844 0.22054 0.65181
FastABOD 100 0.25683 0.17431 0.21068 0.12303 0.29026 0.21145 0.66335
KDEOS 98 0.18033 0.08931 0.14093 0.04554 0.24434 0.16043 0.63262
KDEOS 100 0.17486 0.08324 0.14124 0.04588 0.24142 0.15718 0.63373
LDF 94 0.37158 0.30180 0.33084 0.25654 0.39744 0.33052 0.76660
LDF 98 0.36066 0.28966 0.34105 0.26788 0.40260 0.33626 0.76757
LDF 99 0.36612 0.29573 0.34766 0.27522 0.40000 0.33337 0.76793
LDF 100 0.36612 0.29573 0.34913 0.27685 0.39739 0.33048 0.76760
INFLO 63 0.25137 0.16824 0.19438 0.10493 0.29422 0.21585 0.69572
INFLO 96 0.24590 0.16216 0.21565 0.12855 0.33962 0.26629 0.72957
INFLO 99 0.24590 0.16216 0.21801 0.13117 0.33264 0.25853 0.73474
INFLO 100 0.24590 0.16216 0.21824 0.13143 0.33814 0.26465 0.73101
COF 34 0.28415 0.20466 0.22226 0.13590 0.30622 0.22918 0.64065
COF 38 0.28962 0.21073 0.23513 0.15019 0.29735 0.21933 0.64981
COF 49 0.26230 0.18038 0.26024 0.17810 0.29060 0.21182 0.66576
COF 100 0.20219 0.11359 0.24861 0.16517 0.28319 0.20359 0.68828

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 1838 objects, 183 outliers (9.96%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (71.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.33880 0.26569 0.24672 0.16343 0.34066 0.26775 0.64221
KNN 100 0.33880 0.26569 0.36117 0.29053 0.36310 0.29267 0.72380
KNNW 58 0.32240 0.24748 0.30990 0.23359 0.34913 0.27716 0.68348
KNNW 88 0.34426 0.27175 0.32570 0.25114 0.34607 0.27376 0.69586
KNNW 100 0.33880 0.26569 0.33028 0.25623 0.34597 0.27365 0.69972
LOF 70 0.31694 0.24141 0.22954 0.14435 0.32308 0.24823 0.72002
LOF 99 0.30601 0.22927 0.26586 0.18468 0.33494 0.26141 0.74235
LOF 100 0.30601 0.22927 0.26657 0.18547 0.33441 0.26081 0.74299
SimplifiedLOF 51 0.28415 0.20500 0.20891 0.12144 0.33257 0.25877 0.66184
SimplifiedLOF 81 0.30601 0.22927 0.21767 0.13116 0.31667 0.24111 0.68479
SimplifiedLOF 100 0.30055 0.22321 0.22690 0.14141 0.31381 0.23793 0.69824
LoOP 59 0.25137 0.16859 0.19516 0.10617 0.31579 0.24013 0.65895
LoOP 92 0.28962 0.21107 0.20758 0.11996 0.30317 0.22612 0.68057
LoOP 100 0.28962 0.21107 0.21049 0.12319 0.30353 0.22652 0.68587
LDOF 66 0.26230 0.18072 0.17883 0.08803 0.27434 0.19410 0.62825
LDOF 99 0.25683 0.17466 0.18653 0.09659 0.28916 0.21056 0.65244
LDOF 100 0.25137 0.16859 0.18609 0.09609 0.28571 0.20673 0.65271
ODIN 91 0.24739 0.16417 0.19707 0.10829 0.28521 0.20617 0.69109
ODIN 100 0.24317 0.15948 0.20373 0.11569 0.29778 0.22013 0.69822
FastABOD 32 0.29508 0.21714 0.21109 0.12385 0.31678 0.24124 0.66177
FastABOD 100 0.28415 0.20500 0.22377 0.13794 0.30981 0.23349 0.67118
KDEOS 27 0.13115 0.03508 0.14481 0.05025 0.22287 0.13694 0.58334
KDEOS 52 0.14754 0.05328 0.13022 0.03404 0.21727 0.13072 0.58486
KDEOS 99 0.11475 0.01687 0.13417 0.03843 0.22927 0.14405 0.61209
KDEOS 100 0.10929 0.01080 0.13308 0.03722 0.22899 0.14374 0.61317
LDF 94 0.34973 0.27782 0.34476 0.27230 0.37500 0.30589 0.73503
LDF 96 0.34426 0.27175 0.34867 0.27665 0.38312 0.31491 0.73597
LDF 100 0.34426 0.27175 0.35311 0.28158 0.37710 0.30823 0.73712
INFLO 85 0.27869 0.19893 0.21510 0.12831 0.30345 0.22643 0.70174
INFLO 97 0.27869 0.19893 0.22435 0.13858 0.31532 0.23961 0.71367
INFLO 100 0.27869 0.19893 0.22801 0.14264 0.31180 0.23571 0.71670
COF 52 0.32787 0.25355 0.30337 0.22634 0.33243 0.25861 0.65400
COF 68 0.30601 0.22927 0.30436 0.22744 0.34323 0.27061 0.66616
COF 81 0.31148 0.23534 0.32352 0.24871 0.33793 0.26472 0.67160
COF 90 0.28962 0.21107 0.31802 0.24261 0.32000 0.24481 0.67493

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 1831 objects, 183 outliers (9.99%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (72.0 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 48 0.35519 0.28359 0.24561 0.16184 0.35912 0.28795 0.74164
KNN 74 0.34426 0.27145 0.24737 0.16380 0.36412 0.29351 0.74558
KNN 100 0.35519 0.28359 0.25021 0.16695 0.36132 0.29040 0.74892
KNNW 97 0.32787 0.25323 0.24275 0.15867 0.35949 0.28837 0.74199
KNNW 100 0.32787 0.25323 0.24313 0.15908 0.35949 0.28837 0.74222
LOF 62 0.26230 0.18038 0.23711 0.15239 0.38579 0.31758 0.74906
LOF 99 0.32240 0.24716 0.25129 0.16815 0.37911 0.31016 0.77364
LOF 100 0.32240 0.24716 0.25146 0.16834 0.38004 0.31120 0.77412
SimplifiedLOF 82 0.28962 0.21073 0.23014 0.14465 0.36900 0.29894 0.73290
SimplifiedLOF 91 0.28415 0.20466 0.23295 0.14777 0.37813 0.30908 0.73493
SimplifiedLOF 99 0.28962 0.21073 0.23289 0.14771 0.37338 0.30380 0.73553
LoOP 12 0.27322 0.19252 0.21402 0.12674 0.28791 0.20883 0.63250
LoOP 73 0.24590 0.16216 0.22101 0.13451 0.36861 0.29850 0.71799
LoOP 100 0.26776 0.18645 0.22780 0.14206 0.36812 0.29796 0.72237
LDOF 20 0.28962 0.21073 0.21244 0.12498 0.29457 0.21624 0.62976
LDOF 98 0.27869 0.19859 0.22626 0.14034 0.36816 0.29800 0.72502
LDOF 100 0.26776 0.18645 0.22823 0.14253 0.36457 0.29400 0.72688
ODIN 83 0.27769 0.19749 0.25258 0.16958 0.37925 0.31032 0.72676
ODIN 84 0.28217 0.20245 0.25339 0.17048 0.37818 0.30913 0.72694
ODIN 100 0.27140 0.19050 0.26055 0.17844 0.37161 0.30183 0.73451
FastABOD 4 0.25137 0.16824 0.21090 0.12328 0.26258 0.18070 0.65849
FastABOD 38 0.23497 0.15002 0.20833 0.12042 0.27523 0.19475 0.66255
FastABOD 100 0.24044 0.15609 0.20743 0.11943 0.27057 0.18957 0.66772
KDEOS 89 0.18579 0.09538 0.16684 0.07433 0.26122 0.17919 0.67341
KDEOS 99 0.17486 0.08324 0.16953 0.07731 0.26695 0.18555 0.67957
KDEOS 100 0.17486 0.08324 0.16971 0.07751 0.26556 0.18401 0.67978
LDF 11 0.33880 0.26538 0.24855 0.16511 0.37143 0.30163 0.74202
LDF 100 0.32240 0.24716 0.25976 0.17757 0.35683 0.28541 0.78706
INFLO 94 0.27869 0.19859 0.23301 0.14785 0.36555 0.29509 0.72815
INFLO 99 0.29508 0.21681 0.23288 0.14770 0.36864 0.29854 0.72538
INFLO 100 0.29508 0.21681 0.23314 0.14798 0.37288 0.30324 0.72572
COF 48 0.30601 0.22895 0.22672 0.14085 0.32474 0.24976 0.67523
COF 49 0.30055 0.22288 0.22943 0.14386 0.31937 0.24379 0.67538
COF 81 0.28962 0.21073 0.20726 0.11923 0.33103 0.25675 0.68151

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 1838 objects, 183 outliers (9.96%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (71.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 65 0.32787 0.25355 0.22118 0.13507 0.33962 0.26660 0.71751
KNN 81 0.33880 0.26569 0.22278 0.13683 0.33880 0.26569 0.72156
KNN 100 0.32787 0.25355 0.22525 0.13958 0.33690 0.26358 0.72598
KNNW 3 0.27869 0.19893 0.21973 0.13345 0.29126 0.21289 0.70471
KNNW 86 0.30601 0.22927 0.21627 0.12961 0.32579 0.25124 0.71569
KNNW 90 0.30601 0.22927 0.21679 0.13019 0.32877 0.25455 0.71627
KNNW 100 0.30601 0.22927 0.21777 0.13128 0.32857 0.25433 0.71737
LOF 72 0.27869 0.19893 0.21681 0.13021 0.34628 0.27399 0.73305
LOF 95 0.30601 0.22927 0.22670 0.14120 0.34429 0.27178 0.74913
LOF 100 0.30601 0.22927 0.22890 0.14363 0.34188 0.26911 0.75191
SimplifiedLOF 15 0.24590 0.16252 0.23916 0.15503 0.27944 0.19977 0.67712
SimplifiedLOF 82 0.28415 0.20500 0.21138 0.12418 0.34526 0.27287 0.71616
SimplifiedLOF 93 0.28962 0.21107 0.21285 0.12581 0.34043 0.26749 0.71864
SimplifiedLOF 99 0.28415 0.20500 0.21428 0.12740 0.33860 0.26547 0.71990
LoOP 15 0.25137 0.16859 0.22838 0.14306 0.28430 0.20516 0.66451
LoOP 82 0.27869 0.19893 0.20935 0.12192 0.33405 0.26041 0.70418
LoOP 99 0.27869 0.19893 0.21236 0.12527 0.33745 0.26419 0.70863
LoOP 100 0.27869 0.19893 0.21233 0.12523 0.33884 0.26574 0.70757
LDOF 24 0.29508 0.21714 0.21285 0.12581 0.30000 0.22260 0.63219
LDOF 99 0.27322 0.19286 0.21736 0.13082 0.32270 0.24780 0.71796
LDOF 100 0.27322 0.19286 0.21770 0.13120 0.32459 0.24991 0.71771
ODIN 63 0.28707 0.20824 0.21784 0.13136 0.32520 0.25059 0.70035
ODIN 95 0.28415 0.20500 0.22775 0.14235 0.33449 0.26091 0.71474
ODIN 100 0.28415 0.20500 0.22716 0.14171 0.33954 0.26652 0.71663
FastABOD 9 0.23497 0.15038 0.19611 0.10723 0.27586 0.19579 0.68335
FastABOD 63 0.26776 0.18679 0.19308 0.10386 0.28968 0.21114 0.68615
FastABOD 92 0.26230 0.18072 0.19309 0.10387 0.29328 0.21513 0.68742
FastABOD 99 0.26230 0.18072 0.19334 0.10415 0.29150 0.21316 0.68791
KDEOS 74 0.21311 0.12611 0.16774 0.07571 0.25714 0.17500 0.67418
KDEOS 98 0.20219 0.11397 0.17252 0.08102 0.27799 0.19816 0.68508
KDEOS 100 0.20219 0.11397 0.17172 0.08014 0.28121 0.20173 0.68635
LDF 9 0.25683 0.17466 0.25658 0.17437 0.30503 0.22818 0.70474
LDF 90 0.31148 0.23534 0.23278 0.14795 0.33833 0.26517 0.75711
LDF 100 0.30055 0.22321 0.24007 0.15604 0.34914 0.27717 0.76758
INFLO 8 0.26776 0.18679 0.22245 0.13647 0.27478 0.19459 0.64115
INFLO 67 0.26776 0.18679 0.21003 0.12268 0.33797 0.26477 0.71149
INFLO 81 0.28962 0.21107 0.21323 0.12623 0.32841 0.25415 0.71217
INFLO 96 0.28962 0.21107 0.21808 0.13162 0.33054 0.25652 0.72470
COF 45 0.27869 0.19893 0.21209 0.12497 0.33584 0.26240 0.66929
COF 46 0.28962 0.21107 0.21203 0.12490 0.34101 0.26815 0.67274
COF 52 0.29508 0.21714 0.20948 0.12207 0.34375 0.27119 0.66935
COF 83 0.31148 0.23534 0.20067 0.11228 0.31319 0.23724 0.65764

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO