Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Cardiotocography (5% of outliers version#09)

Data set related to heart diseases. It describes 3 classes: normal, suspect, or pathological. Normal patients are treated as inliers and the remaining as outliers.

Download all data set variants used (8.8 MB). You can also access the original data. (CTG.xls)

Normalized, without duplicates

This version contains 21 attributes, 1734 objects, 86 outliers (4.96%)

Download raw algorithm results (15.0 MB) Download raw algorithm evaluation table (65.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 90 0.33721 0.30262 0.31374 0.27793 0.35979 0.32638 0.77841
KNN 96 0.33721 0.30262 0.31633 0.28065 0.36923 0.33631 0.77944
KNN 99 0.33721 0.30262 0.31631 0.28063 0.36923 0.33631 0.78084
KNNW 3 0.31395 0.27815 0.25854 0.21985 0.32117 0.28574 0.71180
KNNW 6 0.31395 0.27815 0.26133 0.22279 0.32704 0.29193 0.72164
KNNW 100 0.30233 0.26592 0.28693 0.24972 0.31638 0.28071 0.76451
LOF 6 0.29070 0.25368 0.19829 0.15646 0.29630 0.25957 0.71004
LOF 96 0.25581 0.21698 0.22597 0.18558 0.29947 0.26291 0.81057
LOF 100 0.26744 0.22921 0.22980 0.18961 0.29474 0.25793 0.81139
SimplifiedLOF 11 0.34884 0.31486 0.23898 0.19926 0.35838 0.32490 0.72804
SimplifiedLOF 12 0.32558 0.29039 0.24006 0.20040 0.34595 0.31181 0.73432
SimplifiedLOF 100 0.25581 0.21698 0.20702 0.16564 0.28340 0.24601 0.78852
LoOP 11 0.27907 0.24145 0.17548 0.13245 0.31925 0.28372 0.72562
LoOP 100 0.23256 0.19251 0.19695 0.15505 0.29310 0.25621 0.78039
LDOF 15 0.24419 0.20474 0.18216 0.13948 0.28249 0.24504 0.71153
LDOF 62 0.26744 0.22921 0.16135 0.11758 0.28829 0.25115 0.73270
LDOF 91 0.20930 0.16804 0.17414 0.13104 0.30189 0.26546 0.74963
LDOF 100 0.20930 0.16804 0.17504 0.13199 0.29596 0.25922 0.75202
ODIN 71 0.20930 0.16804 0.14177 0.09699 0.24932 0.21015 0.76256
ODIN 99 0.19767 0.15581 0.15543 0.11136 0.26950 0.23138 0.78130
ODIN 100 0.20000 0.15825 0.15588 0.11183 0.26531 0.22697 0.78221
FastABOD 7 0.29070 0.25368 0.19226 0.15011 0.29070 0.25368 0.72455
FastABOD 12 0.27907 0.24145 0.19130 0.14910 0.30769 0.27156 0.72523
FastABOD 100 0.23256 0.19251 0.19700 0.15510 0.28000 0.24243 0.74407
KDEOS 16 0.13953 0.09463 0.11052 0.06410 0.17178 0.12856 0.68060
KDEOS 23 0.09302 0.04569 0.11717 0.07110 0.16471 0.12112 0.68415
KDEOS 99 0.10465 0.05793 0.10092 0.05400 0.18564 0.14314 0.70901
KDEOS 100 0.10465 0.05793 0.10154 0.05466 0.18278 0.14013 0.70941
LDF 84 0.37209 0.33933 0.27747 0.23977 0.37209 0.33933 0.78009
LDF 90 0.37209 0.33933 0.28078 0.24325 0.38750 0.35554 0.78037
LDF 100 0.37209 0.33933 0.30626 0.27006 0.38462 0.35250 0.78488
INFLO 8 0.25581 0.21698 0.18770 0.14531 0.28431 0.24697 0.71512
INFLO 98 0.22093 0.18027 0.20609 0.16466 0.31461 0.27884 0.80202
INFLO 99 0.22093 0.18027 0.20842 0.16712 0.31138 0.27544 0.80176
INFLO 100 0.22093 0.18027 0.20781 0.16647 0.31142 0.27549 0.80221
COF 13 0.24419 0.20474 0.21986 0.17915 0.28019 0.24263 0.74016
COF 26 0.24419 0.20474 0.25275 0.21375 0.27119 0.23315 0.69527
COF 34 0.27907 0.24145 0.23755 0.19777 0.31293 0.27707 0.71809
COF 35 0.29070 0.25368 0.23082 0.19069 0.29412 0.25728 0.71801

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 1742 objects, 87 outliers (4.99%)

Download raw algorithm results (15.1 MB) Download raw algorithm evaluation table (66.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.32184 0.28619 0.29604 0.25904 0.35556 0.32168 0.77589
KNN 87 0.36782 0.33458 0.30905 0.27272 0.38679 0.35456 0.75351
KNN 97 0.36782 0.33458 0.31099 0.27477 0.39378 0.36191 0.75421
KNN 98 0.36782 0.33458 0.31122 0.27502 0.39175 0.35978 0.75450
KNNW 2 0.33333 0.29829 0.27854 0.24061 0.35714 0.32335 0.77200
KNNW 4 0.35632 0.32248 0.28836 0.25095 0.35714 0.32335 0.76242
KNNW 7 0.34483 0.31039 0.28783 0.25039 0.36943 0.33628 0.74876
KNNW 100 0.35632 0.32248 0.29442 0.25732 0.36757 0.33432 0.74678
LOF 5 0.29885 0.26199 0.20915 0.16758 0.30233 0.26565 0.71300
LOF 7 0.27586 0.23780 0.24728 0.20772 0.31818 0.28234 0.74366
LOF 38 0.24138 0.20150 0.19914 0.15704 0.32174 0.28608 0.76419
LOF 100 0.27586 0.23780 0.22691 0.18627 0.28975 0.25242 0.78333
SimplifiedLOF 9 0.34483 0.31039 0.28391 0.24626 0.36735 0.33409 0.75584
SimplifiedLOF 10 0.35632 0.32248 0.27042 0.23207 0.36047 0.32685 0.75464
SimplifiedLOF 11 0.34483 0.31039 0.26438 0.22571 0.37079 0.33771 0.75759
SimplifiedLOF 100 0.25287 0.21360 0.21850 0.17742 0.29520 0.25815 0.77683
LoOP 8 0.28736 0.24989 0.22091 0.17995 0.33333 0.29829 0.74354
LoOP 9 0.29885 0.26199 0.23183 0.19145 0.32653 0.29113 0.74579
LoOP 13 0.31034 0.27409 0.21399 0.17267 0.31395 0.27789 0.74907
LoOP 100 0.26437 0.22570 0.20851 0.16691 0.29915 0.26230 0.77246
LDOF 13 0.33333 0.29829 0.21828 0.17719 0.34826 0.31400 0.73159
LDOF 15 0.32184 0.28619 0.22103 0.18008 0.33520 0.30025 0.73905
LDOF 100 0.25287 0.21360 0.19930 0.15721 0.31088 0.27466 0.75569
ODIN 67 0.24138 0.20150 0.17970 0.13658 0.24859 0.20909 0.75223
ODIN 93 0.22824 0.18767 0.19260 0.15015 0.27068 0.23234 0.76356
ODIN 99 0.22222 0.18134 0.18700 0.14426 0.27907 0.24117 0.76561
ODIN 100 0.22222 0.18134 0.18822 0.14554 0.28125 0.24347 0.76543
FastABOD 10 0.33333 0.29829 0.22944 0.18893 0.33333 0.29829 0.78684
FastABOD 99 0.31034 0.27409 0.23584 0.19567 0.32927 0.29401 0.79229
FastABOD 100 0.31034 0.27409 0.23555 0.19537 0.32927 0.29401 0.79238
KDEOS 14 0.12644 0.08052 0.12746 0.08159 0.17492 0.13154 0.70363
KDEOS 16 0.14943 0.10471 0.12157 0.07540 0.19355 0.15115 0.71158
KDEOS 100 0.11494 0.06842 0.10383 0.05672 0.18605 0.14326 0.72288
LDF 5 0.29885 0.26199 0.32711 0.29173 0.35000 0.31583 0.73325
LDF 11 0.24138 0.20150 0.23484 0.19461 0.26415 0.22547 0.77449
LDF 82 0.35632 0.32248 0.27400 0.23584 0.35632 0.32248 0.76717
LDF 85 0.35632 0.32248 0.27505 0.23694 0.36257 0.32906 0.76992
INFLO 7 0.28736 0.24989 0.20924 0.16767 0.29714 0.26020 0.71762
INFLO 87 0.27586 0.23780 0.21437 0.17307 0.30405 0.26747 0.78063
INFLO 98 0.27586 0.23780 0.21841 0.17732 0.31628 0.28034 0.77831
INFLO 100 0.27586 0.23780 0.22109 0.18015 0.31489 0.27888 0.77748
COF 10 0.26437 0.22570 0.27108 0.23277 0.30837 0.27201 0.77547
COF 12 0.27586 0.23780 0.28006 0.24221 0.29897 0.26212 0.76030
COF 16 0.29885 0.26199 0.26783 0.22934 0.33019 0.29498 0.74923
COF 19 0.32184 0.28619 0.26205 0.22325 0.32836 0.29305 0.72397

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 1734 objects, 86 outliers (4.96%)

Download raw algorithm results (15.0 MB) Download raw algorithm evaluation table (65.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.27907 0.24145 0.21783 0.17701 0.28402 0.24666 0.73040
KNN 66 0.23256 0.19251 0.15895 0.11506 0.28571 0.24844 0.76652
KNN 100 0.22093 0.18027 0.16123 0.11746 0.28194 0.24447 0.77369
KNNW 1 0.26744 0.22921 0.23131 0.19120 0.28125 0.24374 0.73576
KNNW 2 0.27907 0.24145 0.22545 0.18503 0.29851 0.26190 0.73630
KNNW 100 0.23256 0.19251 0.15752 0.11356 0.28085 0.24332 0.76779
LOF 8 0.32558 0.29039 0.24081 0.20119 0.34286 0.30856 0.76492
LOF 9 0.33721 0.30262 0.23798 0.19822 0.34177 0.30742 0.76073
LOF 99 0.20930 0.16804 0.16856 0.12517 0.26718 0.22893 0.81335
SimplifiedLOF 10 0.31395 0.27815 0.22642 0.18605 0.33540 0.30072 0.75576
SimplifiedLOF 12 0.31395 0.27815 0.23584 0.19596 0.34177 0.30742 0.76286
SimplifiedLOF 13 0.31395 0.27815 0.23972 0.20005 0.31707 0.28143 0.76784
SimplifiedLOF 95 0.20930 0.16804 0.16351 0.11986 0.26556 0.22723 0.78615
LoOP 10 0.30233 0.26592 0.20912 0.16785 0.31325 0.27742 0.74292
LoOP 13 0.27907 0.24145 0.22853 0.18827 0.29851 0.26190 0.75382
LoOP 93 0.20930 0.16804 0.16842 0.12502 0.26840 0.23022 0.77532
LDOF 17 0.26744 0.22921 0.21748 0.17664 0.29231 0.25538 0.71060
LDOF 18 0.29070 0.25368 0.20345 0.16188 0.30058 0.26408 0.71032
LDOF 30 0.27907 0.24145 0.18425 0.14168 0.30769 0.27156 0.72468
LDOF 94 0.20930 0.16804 0.16979 0.12646 0.27149 0.23348 0.78385
ODIN 85 0.17674 0.13378 0.18903 0.14671 0.29412 0.25728 0.77137
ODIN 98 0.22093 0.18027 0.19914 0.15735 0.28169 0.24421 0.77784
ODIN 100 0.22093 0.18027 0.20104 0.15934 0.28436 0.24701 0.77952
FastABOD 4 0.26744 0.22921 0.21385 0.17282 0.27059 0.23252 0.72675
FastABOD 5 0.25581 0.21698 0.21450 0.17351 0.26846 0.23028 0.72505
FastABOD 8 0.23256 0.19251 0.20851 0.16720 0.27397 0.23609 0.72751
FastABOD 100 0.22093 0.18027 0.19166 0.14947 0.26415 0.22575 0.73655
KDEOS 89 0.17442 0.13134 0.13381 0.08861 0.19512 0.15312 0.74500
KDEOS 100 0.16279 0.11910 0.13888 0.09394 0.20948 0.16822 0.75278
LDF 8 0.27907 0.24145 0.24232 0.20278 0.30508 0.26882 0.77573
LDF 97 0.24419 0.20474 0.18157 0.13886 0.29474 0.25793 0.82893
INFLO 7 0.30233 0.26592 0.19408 0.15203 0.30233 0.26592 0.73628
INFLO 9 0.29070 0.25368 0.22165 0.18104 0.30986 0.27384 0.70995
INFLO 100 0.22093 0.18027 0.17183 0.12861 0.28708 0.24988 0.78665
COF 14 0.26744 0.22921 0.19620 0.15425 0.30476 0.26848 0.74924
COF 15 0.31395 0.27815 0.21055 0.16936 0.32335 0.28804 0.74831
COF 42 0.22093 0.18027 0.21260 0.17150 0.26022 0.22162 0.68245

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 1742 objects, 87 outliers (4.99%)

Download raw algorithm results (15.0 MB) Download raw algorithm evaluation table (66.5 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.24138 0.20150 0.23019 0.18972 0.28723 0.24977 0.80970
KNN 44 0.25287 0.21360 0.15894 0.11473 0.30303 0.26639 0.75050
KNN 59 0.25287 0.21360 0.15963 0.11545 0.31535 0.27936 0.75188
KNNW 2 0.26437 0.22570 0.23546 0.19527 0.28877 0.25138 0.81764
KNNW 71 0.24138 0.20150 0.15976 0.11559 0.30088 0.26413 0.75680
LOF 7 0.29885 0.26199 0.23187 0.19149 0.31818 0.28234 0.76507
LOF 8 0.31034 0.27409 0.25647 0.21738 0.31694 0.28103 0.77731
LOF 12 0.24138 0.20150 0.21001 0.16848 0.27636 0.23832 0.79829
SimplifiedLOF 10 0.29885 0.26199 0.24143 0.20155 0.33113 0.29596 0.76126
SimplifiedLOF 12 0.29885 0.26199 0.25016 0.21074 0.32653 0.29113 0.78245
SimplifiedLOF 14 0.31034 0.27409 0.24662 0.20701 0.32099 0.28529 0.79657
SimplifiedLOF 15 0.29885 0.26199 0.23931 0.19932 0.31250 0.27636 0.79716
LoOP 11 0.29885 0.26199 0.22286 0.18201 0.30588 0.26939 0.75489
LoOP 12 0.27586 0.23780 0.23911 0.19911 0.30769 0.27130 0.76167
LoOP 13 0.27586 0.23780 0.24067 0.20075 0.29787 0.26096 0.76997
LoOP 14 0.27586 0.23780 0.23513 0.19493 0.29870 0.26184 0.77627
LDOF 18 0.26437 0.22570 0.19741 0.15522 0.27632 0.23827 0.70674
LDOF 22 0.27586 0.23780 0.18373 0.14082 0.27624 0.23820 0.71609
LDOF 24 0.27586 0.23780 0.18308 0.14014 0.30189 0.26519 0.71638
LDOF 100 0.20690 0.16520 0.16794 0.12420 0.27811 0.24016 0.77101
ODIN 13 0.21618 0.17498 0.15131 0.10670 0.21754 0.17641 0.70850
ODIN 99 0.19253 0.15008 0.19994 0.15788 0.29560 0.25857 0.76573
ODIN 100 0.19540 0.15311 0.20109 0.15909 0.29560 0.25857 0.76635
FastABOD 5 0.25287 0.21360 0.22174 0.18083 0.26190 0.22310 0.81255
FastABOD 11 0.26437 0.22570 0.20870 0.16710 0.26950 0.23110 0.81991
FastABOD 15 0.26437 0.22570 0.20623 0.16451 0.27053 0.23218 0.82050
FastABOD 79 0.24138 0.20150 0.19468 0.15235 0.29075 0.25347 0.81803
KDEOS 97 0.13793 0.09261 0.13144 0.08578 0.22868 0.18814 0.77015
KDEOS 98 0.14943 0.10471 0.13145 0.08579 0.22430 0.18352 0.77122
KDEOS 100 0.14943 0.10471 0.13229 0.08668 0.22727 0.18665 0.77283
LDF 8 0.29885 0.26199 0.27695 0.23894 0.32432 0.28881 0.81680
INFLO 7 0.29885 0.26199 0.24028 0.20034 0.34899 0.31477 0.72643
INFLO 9 0.31034 0.27409 0.25271 0.21342 0.32727 0.29191 0.70337
INFLO 65 0.20690 0.16520 0.16350 0.11953 0.26837 0.22991 0.77371
COF 16 0.22989 0.18940 0.21185 0.17042 0.28647 0.24896 0.79578
COF 23 0.26437 0.22570 0.20441 0.16258 0.29437 0.25728 0.77969
COF 30 0.24138 0.20150 0.24034 0.20040 0.29442 0.25733 0.76860
COF 34 0.25287 0.21360 0.23978 0.19982 0.31336 0.27727 0.76537

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO