Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Cardiotocography (10% of outliers version#08)

Data set related to heart diseases. It describes 3 classes: normal, suspect, or pathological. Normal patients are treated as inliers and the remaining as outliers.

Download all data set variants used (8.8 MB). You can also access the original data. (CTG.xls)

Normalized, without duplicates

This version contains 21 attributes, 1831 objects, 183 outliers (9.99%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (72.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 42 0.34973 0.27752 0.31920 0.24360 0.35294 0.28109 0.69713
KNN 98 0.34426 0.27145 0.35621 0.28472 0.36563 0.29519 0.72449
KNN 100 0.34973 0.27752 0.35727 0.28590 0.36397 0.29334 0.72505
KNNW 44 0.32787 0.25323 0.29619 0.21804 0.35545 0.28388 0.67882
KNNW 90 0.34973 0.27752 0.32223 0.24697 0.34973 0.27752 0.69992
KNNW 100 0.34973 0.27752 0.32531 0.25039 0.35165 0.27965 0.70303
LOF 8 0.29508 0.21681 0.21460 0.12738 0.30270 0.22527 0.64338
LOF 100 0.28962 0.21073 0.26437 0.18269 0.33712 0.26351 0.73311
SimplifiedLOF 14 0.28415 0.20466 0.23652 0.15174 0.30341 0.22605 0.66370
SimplifiedLOF 17 0.31148 0.23502 0.22516 0.13912 0.31492 0.23884 0.66671
SimplifiedLOF 88 0.26776 0.18645 0.21974 0.13309 0.32454 0.24954 0.69363
SimplifiedLOF 100 0.26776 0.18645 0.22870 0.14305 0.31439 0.23826 0.70147
LoOP 15 0.27869 0.19859 0.20501 0.11673 0.28684 0.20764 0.64812
LoOP 73 0.25137 0.16824 0.20287 0.11435 0.31676 0.24089 0.67578
LoOP 100 0.27869 0.19859 0.21778 0.13092 0.31515 0.23910 0.69246
LDOF 90 0.22951 0.14395 0.18988 0.09992 0.28690 0.20772 0.65486
LDOF 98 0.24590 0.16216 0.19399 0.10449 0.28221 0.20250 0.66150
LDOF 100 0.25137 0.16824 0.19356 0.10401 0.28455 0.20511 0.66266
ODIN 91 0.22469 0.13859 0.20318 0.11470 0.29613 0.21797 0.70245
ODIN 98 0.21676 0.12978 0.20808 0.12014 0.30213 0.22463 0.70742
ODIN 99 0.22092 0.13441 0.20714 0.11910 0.30342 0.22607 0.70852
ODIN 100 0.22404 0.13788 0.20774 0.11976 0.30137 0.22379 0.70895
FastABOD 17 0.28415 0.20466 0.20718 0.11914 0.28493 0.20553 0.69187
FastABOD 96 0.26776 0.18645 0.21904 0.13232 0.30792 0.23107 0.70173
FastABOD 97 0.26776 0.18645 0.21901 0.13228 0.30838 0.23158 0.70173
FastABOD 99 0.26776 0.18645 0.21903 0.13231 0.30838 0.23158 0.70202
KDEOS 6 0.17486 0.08324 0.13140 0.03495 0.19753 0.10842 0.55554
KDEOS 18 0.16940 0.07717 0.15572 0.06197 0.22778 0.14203 0.61053
KDEOS 57 0.13661 0.04074 0.13692 0.04109 0.23814 0.15354 0.61153
KDEOS 100 0.15301 0.05895 0.13795 0.04223 0.23158 0.14625 0.62695
LDF 97 0.38251 0.31395 0.37328 0.30369 0.39009 0.32237 0.73220
LDF 100 0.37705 0.30787 0.37779 0.30870 0.39394 0.32664 0.73442
INFLO 90 0.27869 0.19859 0.22469 0.13860 0.30740 0.23049 0.69860
INFLO 100 0.27869 0.19859 0.23705 0.15233 0.31504 0.23898 0.72347
COF 43 0.33880 0.26538 0.26893 0.18774 0.33973 0.26641 0.64239
COF 52 0.31694 0.24109 0.28233 0.20263 0.35410 0.28238 0.64925
COF 100 0.25137 0.16824 0.28916 0.21023 0.28364 0.20409 0.67917

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 1838 objects, 183 outliers (9.96%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (72.0 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 43 0.35519 0.28389 0.28648 0.20758 0.35813 0.28715 0.68425
KNN 84 0.34426 0.27175 0.31096 0.23477 0.37309 0.30377 0.70602
KNN 100 0.34426 0.27175 0.32053 0.24540 0.36103 0.29038 0.71255
KNNW 88 0.34973 0.27782 0.28397 0.20479 0.36658 0.29654 0.68096
KNNW 97 0.36066 0.28996 0.28726 0.20845 0.36559 0.29544 0.68412
KNNW 100 0.36066 0.28996 0.28817 0.20946 0.36461 0.29435 0.68515
LOF 8 0.24590 0.16252 0.17989 0.08921 0.24834 0.16523 0.60090
LOF 100 0.24044 0.15645 0.22158 0.13551 0.30949 0.23314 0.72012
SimplifiedLOF 15 0.26230 0.18072 0.20192 0.11368 0.26563 0.18442 0.63270
SimplifiedLOF 19 0.24590 0.16252 0.20397 0.11595 0.26339 0.18194 0.64641
SimplifiedLOF 65 0.21858 0.13217 0.19998 0.11152 0.29200 0.21371 0.65532
SimplifiedLOF 100 0.24044 0.15645 0.20170 0.11343 0.28175 0.20233 0.67324
LoOP 14 0.24590 0.16252 0.18939 0.09976 0.25405 0.17157 0.62518
LoOP 86 0.23497 0.15038 0.19108 0.10164 0.28325 0.20399 0.64996
LoOP 100 0.24044 0.15645 0.19543 0.10647 0.27965 0.19999 0.65599
LDOF 21 0.24044 0.15645 0.17553 0.08437 0.24427 0.16071 0.59593
LDOF 69 0.22951 0.14431 0.18619 0.09621 0.27938 0.19970 0.61616
LDOF 100 0.23497 0.15038 0.18785 0.09805 0.26515 0.18390 0.63090
ODIN 63 0.21858 0.13217 0.17794 0.08704 0.25263 0.16999 0.65261
ODIN 100 0.20692 0.11923 0.19701 0.10822 0.28019 0.20060 0.67984
FastABOD 14 0.22404 0.13824 0.18086 0.09028 0.22947 0.14426 0.63488
FastABOD 93 0.20765 0.12004 0.18828 0.09852 0.25778 0.17571 0.65345
FastABOD 100 0.20765 0.12004 0.18903 0.09936 0.25697 0.17481 0.65466
KDEOS 14 0.20219 0.11397 0.15494 0.06150 0.22268 0.13673 0.58176
KDEOS 15 0.20765 0.12004 0.15214 0.05839 0.22993 0.14479 0.58668
KDEOS 100 0.16393 0.07149 0.13925 0.04407 0.24499 0.16151 0.62253
LDF 98 0.34973 0.27782 0.31867 0.24334 0.36086 0.29018 0.74160
LDF 100 0.34973 0.27782 0.32390 0.24914 0.36888 0.29909 0.74350
INFLO 12 0.24044 0.15645 0.17351 0.08212 0.24309 0.15940 0.61542
INFLO 100 0.23497 0.15038 0.20384 0.11580 0.28571 0.20673 0.67185
COF 15 0.25683 0.17466 0.20588 0.11807 0.26590 0.18472 0.62551
COF 32 0.22951 0.14431 0.20892 0.12145 0.28169 0.20226 0.62820
COF 46 0.24044 0.15645 0.22383 0.13801 0.25000 0.16707 0.62877
COF 81 0.19672 0.10790 0.20549 0.11764 0.25212 0.16943 0.64190

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 1831 objects, 183 outliers (9.99%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (71.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.28415 0.20466 0.22677 0.14090 0.31048 0.23392 0.72810
KNN 40 0.33880 0.26538 0.22867 0.14302 0.34444 0.27165 0.71816
KNN 83 0.33333 0.25930 0.23523 0.15031 0.35949 0.28837 0.72288
KNN 97 0.33333 0.25930 0.23770 0.15305 0.35623 0.28475 0.72551
KNNW 2 0.27869 0.19859 0.23621 0.15140 0.31154 0.23509 0.72377
KNNW 3 0.29508 0.21681 0.23219 0.14693 0.32444 0.24943 0.72871
KNNW 87 0.31694 0.24109 0.22846 0.14278 0.34821 0.27584 0.72233
KNNW 96 0.31694 0.24109 0.22960 0.14405 0.35135 0.27932 0.72283
LOF 9 0.29508 0.21681 0.24429 0.16037 0.30802 0.23118 0.67687
LOF 10 0.29508 0.21681 0.24606 0.16234 0.30435 0.22710 0.68825
LOF 100 0.29508 0.21681 0.23940 0.15494 0.36868 0.29857 0.76189
SimplifiedLOF 14 0.28415 0.20466 0.24054 0.15621 0.29398 0.21558 0.66969
SimplifiedLOF 16 0.30055 0.22288 0.23549 0.15060 0.30303 0.22564 0.67437
SimplifiedLOF 99 0.26230 0.18038 0.21965 0.13300 0.36989 0.29992 0.72798
SimplifiedLOF 100 0.26230 0.18038 0.22024 0.13365 0.36752 0.29729 0.72851
LoOP 14 0.26230 0.18038 0.22183 0.13542 0.29148 0.21280 0.65790
LoOP 18 0.27322 0.19252 0.21843 0.13164 0.28723 0.20809 0.66877
LoOP 96 0.26776 0.18645 0.21127 0.12369 0.35575 0.28421 0.71022
LoOP 100 0.26776 0.18645 0.21332 0.12597 0.35398 0.28225 0.71218
LDOF 86 0.27869 0.19859 0.20926 0.12146 0.33645 0.26277 0.70853
LDOF 100 0.25683 0.17431 0.21437 0.12713 0.35176 0.27978 0.71592
ODIN 73 0.28220 0.20249 0.23134 0.14599 0.34507 0.27234 0.71356
ODIN 91 0.26715 0.18577 0.24247 0.15835 0.36431 0.29372 0.72706
ODIN 96 0.26776 0.18645 0.24320 0.15917 0.35443 0.28274 0.72952
ODIN 100 0.27140 0.19050 0.24156 0.15734 0.35439 0.28269 0.73069
FastABOD 5 0.26776 0.18645 0.21502 0.12786 0.30072 0.22306 0.70711
FastABOD 13 0.27869 0.19859 0.21716 0.13023 0.29612 0.21795 0.71049
FastABOD 30 0.28962 0.21073 0.21149 0.12394 0.29032 0.21152 0.71490
FastABOD 99 0.28415 0.20466 0.21451 0.12728 0.29911 0.22128 0.71934
KDEOS 79 0.21858 0.13181 0.16833 0.07597 0.26707 0.18568 0.68127
KDEOS 100 0.21311 0.12574 0.18340 0.09272 0.27200 0.19116 0.69466
LDF 9 0.33880 0.26538 0.28746 0.20834 0.36598 0.29558 0.71233
LDF 93 0.34973 0.27752 0.26264 0.18076 0.38481 0.31650 0.76912
LDF 95 0.35519 0.28359 0.26379 0.18204 0.38384 0.31542 0.77063
LDF 100 0.34973 0.27752 0.26547 0.18391 0.38168 0.31302 0.77233
INFLO 9 0.26230 0.18038 0.22680 0.14094 0.28090 0.20105 0.63482
INFLO 98 0.28962 0.21073 0.22010 0.13349 0.36017 0.28912 0.71264
INFLO 99 0.29508 0.21681 0.22004 0.13343 0.36129 0.29037 0.71121
COF 35 0.27322 0.19252 0.21887 0.13213 0.33175 0.25755 0.70306
COF 43 0.29508 0.21681 0.22576 0.13979 0.34624 0.27365 0.69852
COF 46 0.31694 0.24109 0.22103 0.13453 0.34409 0.27125 0.69238
COF 47 0.30601 0.22895 0.21959 0.13293 0.35246 0.28055 0.69081

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 1838 objects, 183 outliers (9.96%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (72.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 44 0.32787 0.25355 0.20817 0.12062 0.33239 0.25857 0.70114
KNN 98 0.31148 0.23534 0.21594 0.12924 0.34653 0.27428 0.71306
KNN 100 0.31148 0.23534 0.21615 0.12947 0.34398 0.27144 0.71333
KNNW 83 0.30601 0.22927 0.20579 0.11797 0.32471 0.25004 0.70341
KNNW 88 0.31694 0.24141 0.20649 0.11874 0.32212 0.24716 0.70390
KNNW 100 0.31694 0.24141 0.20794 0.12036 0.32275 0.24787 0.70534
LOF 9 0.27322 0.19286 0.22980 0.14464 0.28516 0.20612 0.65632
LOF 97 0.28962 0.21107 0.21793 0.13146 0.34783 0.27571 0.73930
LOF 99 0.28962 0.21107 0.21918 0.13284 0.34943 0.27749 0.74070
LOF 100 0.28962 0.21107 0.21974 0.13346 0.34862 0.27660 0.74124
SimplifiedLOF 12 0.28415 0.20500 0.22951 0.14431 0.28649 0.20759 0.64751
SimplifiedLOF 13 0.28415 0.20500 0.23390 0.14919 0.28650 0.20761 0.65465
SimplifiedLOF 99 0.26230 0.18072 0.20242 0.11423 0.33810 0.26491 0.70353
SimplifiedLOF 100 0.26230 0.18072 0.20271 0.11455 0.33810 0.26491 0.70380
LoOP 15 0.26776 0.18679 0.21437 0.12750 0.28698 0.20813 0.64747
LoOP 16 0.27322 0.19286 0.21384 0.12691 0.29231 0.21406 0.64753
LoOP 89 0.23497 0.15038 0.19656 0.10772 0.32400 0.24925 0.69098
LoOP 100 0.24590 0.16252 0.19788 0.10919 0.33019 0.25612 0.68975
LDOF 16 0.26776 0.18679 0.19402 0.10490 0.27885 0.19911 0.60948
LDOF 20 0.25683 0.17466 0.20033 0.11191 0.27014 0.18944 0.60663
LDOF 90 0.23497 0.15038 0.19083 0.10136 0.30714 0.23053 0.68348
LDOF 100 0.23497 0.15038 0.19554 0.10659 0.30466 0.22777 0.69064
ODIN 98 0.25865 0.17668 0.22531 0.13965 0.33121 0.25726 0.70441
ODIN 99 0.25956 0.17769 0.22570 0.14008 0.32712 0.25272 0.70504
ODIN 100 0.25888 0.17693 0.22617 0.14060 0.32985 0.25575 0.70599
FastABOD 11 0.20219 0.11397 0.18982 0.10024 0.25843 0.17643 0.65581
FastABOD 49 0.22951 0.14431 0.19042 0.10090 0.25455 0.17212 0.66323
FastABOD 50 0.23497 0.15038 0.19022 0.10067 0.25507 0.17270 0.66345
FastABOD 98 0.23497 0.15038 0.18531 0.09523 0.25646 0.17425 0.66806
KDEOS 67 0.16940 0.07756 0.15342 0.05982 0.25581 0.17353 0.65211
KDEOS 100 0.16393 0.07149 0.16515 0.07284 0.26705 0.18600 0.66996
LDF 8 0.27322 0.19286 0.23936 0.15525 0.31034 0.23409 0.68730
LDF 96 0.29508 0.21714 0.23058 0.14550 0.32877 0.25455 0.76538
LDF 100 0.29508 0.21714 0.23414 0.14946 0.33622 0.26283 0.76905
INFLO 11 0.26776 0.18679 0.21405 0.12714 0.29829 0.22070 0.64467
INFLO 73 0.23497 0.15038 0.19779 0.10909 0.31818 0.24279 0.70419
INFLO 78 0.22951 0.14431 0.19593 0.10702 0.32482 0.25016 0.68950
INFLO 100 0.28415 0.20500 0.20275 0.11460 0.31602 0.24039 0.69829
COF 60 0.27869 0.19893 0.19995 0.11148 0.29851 0.22094 0.65999
COF 70 0.29508 0.21714 0.19262 0.10334 0.30318 0.22613 0.66701
COF 80 0.28962 0.21107 0.19580 0.10688 0.31202 0.23595 0.67311
COF 82 0.28415 0.20500 0.19466 0.10561 0.32242 0.24750 0.67293

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO