Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Cardiotocography (10% of outliers version#02)

Data set related to heart diseases. It describes 3 classes: normal, suspect, or pathological. Normal patients are treated as inliers and the remaining as outliers.

Download all data set variants used (8.8 MB). You can also access the original data. (CTG.xls)

Normalized, without duplicates

This version contains 21 attributes, 1831 objects, 183 outliers (9.99%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (72.2 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 98 0.34426 0.27145 0.32080 0.24538 0.36825 0.29810 0.73561
KNN 99 0.34973 0.27752 0.32162 0.24629 0.36709 0.29681 0.73553
KNN 100 0.34973 0.27752 0.32177 0.24646 0.36991 0.29994 0.73548
KNNW 55 0.33333 0.25930 0.26617 0.18468 0.33333 0.25930 0.67948
KNNW 91 0.30601 0.22895 0.28394 0.20443 0.34158 0.26847 0.70174
KNNW 100 0.31148 0.23502 0.28693 0.20775 0.34158 0.26847 0.70538
LOF 9 0.25683 0.17431 0.17788 0.08659 0.26071 0.17861 0.61677
LOF 100 0.23497 0.15002 0.21995 0.13333 0.32383 0.24875 0.74875
SimplifiedLOF 17 0.26230 0.18038 0.18451 0.09395 0.27778 0.19758 0.62430
SimplifiedLOF 23 0.23497 0.15002 0.18161 0.09074 0.29806 0.22011 0.62332
SimplifiedLOF 100 0.24590 0.16216 0.19390 0.10439 0.28625 0.20699 0.69378
LoOP 14 0.24590 0.16216 0.17040 0.07828 0.25397 0.17113 0.60905
LoOP 100 0.22951 0.14395 0.18664 0.09633 0.28625 0.20700 0.68102
LDOF 60 0.25137 0.16824 0.16484 0.07210 0.27076 0.18978 0.61476
LDOF 94 0.22404 0.13788 0.17307 0.08124 0.29434 0.21598 0.63931
LDOF 99 0.21858 0.13181 0.17414 0.08243 0.29278 0.21424 0.64289
LDOF 100 0.21311 0.12574 0.17400 0.08228 0.29175 0.21310 0.64313
ODIN 99 0.22344 0.13720 0.18436 0.09378 0.28276 0.20311 0.70578
ODIN 100 0.21736 0.13046 0.18435 0.09377 0.28214 0.20242 0.70633
FastABOD 41 0.27869 0.19859 0.20301 0.11451 0.27945 0.19944 0.65544
FastABOD 88 0.24590 0.16216 0.20586 0.11767 0.29065 0.21188 0.66547
FastABOD 95 0.24044 0.15609 0.20646 0.11834 0.28980 0.21093 0.66636
FastABOD 100 0.24590 0.16216 0.20576 0.11756 0.29065 0.21188 0.66711
KDEOS 17 0.15847 0.06502 0.14675 0.05200 0.23607 0.15124 0.59695
KDEOS 22 0.18579 0.09538 0.15696 0.06334 0.22593 0.13997 0.59365
KDEOS 100 0.16393 0.07109 0.14839 0.05382 0.22901 0.14339 0.61683
LDF 92 0.36066 0.28966 0.31016 0.23356 0.37267 0.30301 0.76003
LDF 100 0.36066 0.28966 0.34202 0.26896 0.38509 0.31681 0.76529
INFLO 99 0.25137 0.16824 0.20024 0.11143 0.31780 0.24204 0.70595
INFLO 100 0.25683 0.17431 0.20043 0.11165 0.31624 0.24031 0.70635
COF 38 0.29508 0.21681 0.23440 0.14938 0.30286 0.22544 0.62235
COF 49 0.27322 0.19252 0.25694 0.17442 0.27624 0.19587 0.63284
COF 94 0.24044 0.15609 0.25469 0.17193 0.26832 0.18707 0.66808

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 1838 objects, 183 outliers (9.96%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (71.5 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 93 0.32787 0.25355 0.31814 0.24274 0.36502 0.29481 0.72650
KNN 98 0.32787 0.25355 0.31926 0.24399 0.36996 0.30030 0.72755
KNN 99 0.32240 0.24748 0.31977 0.24456 0.36861 0.29880 0.72738
KNN 100 0.32787 0.25355 0.31937 0.24411 0.36528 0.29510 0.72758
KNNW 84 0.33880 0.26569 0.29467 0.21668 0.34054 0.26762 0.70631
KNNW 97 0.33333 0.25962 0.29922 0.22173 0.34657 0.27432 0.70969
KNNW 99 0.32787 0.25355 0.29985 0.22243 0.34532 0.27293 0.71017
KNNW 100 0.32787 0.25355 0.29971 0.22228 0.34643 0.27416 0.71037
LOF 44 0.30601 0.22927 0.22336 0.13749 0.31981 0.24460 0.71892
LOF 99 0.28415 0.20500 0.25302 0.17043 0.34214 0.26940 0.75512
LOF 100 0.28415 0.20500 0.25440 0.17196 0.33941 0.26637 0.75525
SimplifiedLOF 11 0.31148 0.23534 0.24161 0.15775 0.32500 0.25036 0.65727
SimplifiedLOF 19 0.29508 0.21714 0.24997 0.16704 0.31905 0.24375 0.68048
SimplifiedLOF 41 0.27322 0.19286 0.22782 0.14244 0.33256 0.25876 0.68954
SimplifiedLOF 100 0.29508 0.21714 0.23739 0.15307 0.31560 0.23992 0.71922
LoOP 22 0.30601 0.22927 0.22015 0.13392 0.31217 0.23611 0.66239
LoOP 82 0.28962 0.21107 0.22169 0.13563 0.33129 0.25735 0.69959
LoOP 95 0.27869 0.19893 0.22634 0.14079 0.32443 0.24973 0.70851
LoOP 99 0.27869 0.19893 0.22773 0.14234 0.32359 0.24879 0.70834
LDOF 19 0.27322 0.19286 0.22660 0.14109 0.28963 0.21108 0.65134
LDOF 61 0.28962 0.21107 0.20632 0.11856 0.31206 0.23599 0.66031
LDOF 97 0.25683 0.17466 0.21555 0.12881 0.31845 0.24308 0.68487
LDOF 100 0.25137 0.16859 0.21596 0.12927 0.31380 0.23792 0.68744
ODIN 91 0.24372 0.16009 0.20744 0.11980 0.33390 0.26025 0.71475
ODIN 97 0.25804 0.17600 0.21143 0.12424 0.32432 0.24961 0.71854
ODIN 100 0.25137 0.16859 0.21181 0.12465 0.33333 0.25962 0.72012
FastABOD 21 0.30055 0.22321 0.22068 0.13451 0.30220 0.22504 0.68251
FastABOD 98 0.26776 0.18679 0.22712 0.14166 0.31711 0.24160 0.69328
FastABOD 100 0.26776 0.18679 0.22706 0.14159 0.31646 0.24087 0.69350
KDEOS 12 0.20765 0.12004 0.15136 0.05752 0.22430 0.13853 0.60098
KDEOS 20 0.19672 0.10790 0.16563 0.07337 0.24303 0.15933 0.62680
KDEOS 97 0.18033 0.08969 0.15587 0.06254 0.25000 0.16707 0.64988
KDEOS 100 0.18033 0.08969 0.15623 0.06293 0.24598 0.16260 0.65130
LDF 94 0.30601 0.22927 0.30478 0.22791 0.34194 0.26917 0.74513
LDF 96 0.31694 0.24141 0.30624 0.22953 0.34641 0.27413 0.74476
LDF 98 0.32240 0.24748 0.30844 0.23197 0.34416 0.27164 0.74490
LDF 100 0.31694 0.24141 0.31050 0.23426 0.34395 0.27141 0.74462
INFLO 58 0.26776 0.18679 0.22227 0.13628 0.34222 0.26949 0.71275
INFLO 93 0.27322 0.19286 0.23830 0.15408 0.33752 0.26427 0.73498
INFLO 97 0.28962 0.21107 0.23848 0.15428 0.33892 0.26582 0.73353
INFLO 99 0.28962 0.21107 0.23887 0.15471 0.33333 0.25962 0.73490
COF 13 0.30055 0.22321 0.25119 0.16839 0.31098 0.23479 0.65026
COF 39 0.30055 0.22321 0.26346 0.18202 0.31579 0.24013 0.65412
COF 71 0.28415 0.20500 0.25954 0.17767 0.29326 0.21511 0.67012
COF 98 0.27869 0.19893 0.27083 0.19020 0.28409 0.20493 0.65902

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 1831 objects, 183 outliers (9.99%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (72.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 91 0.35519 0.28359 0.24088 0.15658 0.36176 0.29088 0.72810
KNN 100 0.35519 0.28359 0.24323 0.15920 0.36829 0.29814 0.73098
KNNW 75 0.31694 0.24109 0.22410 0.13795 0.32644 0.25164 0.70976
KNNW 100 0.31694 0.24109 0.22919 0.14359 0.34271 0.26972 0.71576
LOF 8 0.29508 0.21681 0.22840 0.14272 0.29859 0.22070 0.62453
LOF 99 0.29508 0.21681 0.23767 0.15302 0.36490 0.29437 0.75512
LOF 100 0.29508 0.21681 0.23848 0.15392 0.36406 0.29344 0.75579
SimplifiedLOF 13 0.28415 0.20466 0.23633 0.15153 0.28871 0.20973 0.62822
SimplifiedLOF 99 0.26230 0.18038 0.21546 0.12834 0.34783 0.27541 0.70833
SimplifiedLOF 100 0.26230 0.18038 0.21559 0.12848 0.34783 0.27541 0.70873
LoOP 12 0.25683 0.17431 0.21849 0.13171 0.28163 0.20186 0.62012
LoOP 13 0.27322 0.19252 0.21845 0.13167 0.27843 0.19831 0.61922
LoOP 98 0.25137 0.16824 0.21342 0.12607 0.33563 0.26186 0.69611
LoOP 99 0.25683 0.17431 0.21403 0.12675 0.33563 0.26186 0.69714
LDOF 23 0.26230 0.18038 0.18522 0.09474 0.27119 0.19026 0.58934
LDOF 94 0.24590 0.16216 0.21010 0.12239 0.33115 0.25688 0.70091
LDOF 98 0.25683 0.17431 0.21157 0.12402 0.32735 0.25265 0.70359
LDOF 99 0.25683 0.17431 0.21166 0.12412 0.32441 0.24940 0.70332
ODIN 99 0.27664 0.19631 0.24481 0.16095 0.34629 0.27370 0.72031
ODIN 100 0.28051 0.20062 0.24545 0.16166 0.34629 0.27370 0.72063
FastABOD 5 0.25137 0.16824 0.20951 0.12173 0.25627 0.17368 0.64767
FastABOD 86 0.25683 0.17431 0.19483 0.10542 0.27822 0.19807 0.65547
FastABOD 88 0.26230 0.18038 0.19463 0.10520 0.27461 0.19406 0.65562
FastABOD 100 0.25683 0.17431 0.19243 0.10276 0.27128 0.19036 0.65668
KDEOS 95 0.16940 0.07717 0.16198 0.06892 0.26358 0.18181 0.66093
KDEOS 99 0.16393 0.07109 0.16274 0.06976 0.26907 0.18790 0.66368
LDF 96 0.35519 0.28359 0.26336 0.18157 0.37275 0.30309 0.77759
LDF 97 0.35519 0.28359 0.26488 0.18325 0.37500 0.30560 0.77865
LDF 100 0.34973 0.27752 0.26738 0.18603 0.37344 0.30387 0.78113
INFLO 9 0.27869 0.19859 0.22107 0.13457 0.28877 0.20979 0.62829
INFLO 13 0.28962 0.21073 0.19481 0.10540 0.29041 0.21162 0.61939
INFLO 92 0.27869 0.19859 0.21983 0.13320 0.34115 0.26799 0.72259
INFLO 93 0.27869 0.19859 0.21921 0.13251 0.34335 0.27043 0.71733
COF 45 0.24590 0.16216 0.22536 0.13934 0.28698 0.20780 0.65311
COF 49 0.26776 0.18645 0.22625 0.14033 0.28452 0.20507 0.64747
COF 53 0.25137 0.16824 0.22385 0.13766 0.30120 0.22361 0.64409
COF 95 0.30055 0.22288 0.19120 0.10139 0.30055 0.22288 0.63915

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 1838 objects, 183 outliers (9.96%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (71.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 45 0.33607 0.26265 0.23396 0.14926 0.33787 0.26466 0.73394
KNN 99 0.31694 0.24141 0.23797 0.15371 0.34550 0.27313 0.74785
KNN 100 0.31694 0.24141 0.23812 0.15387 0.34550 0.27313 0.74794
KNNW 2 0.28415 0.20500 0.25362 0.17109 0.31627 0.24066 0.69883
KNNW 77 0.31148 0.23534 0.23111 0.14609 0.33486 0.26132 0.73387
KNNW 80 0.31148 0.23534 0.23134 0.14635 0.33718 0.26389 0.73442
KNNW 100 0.31148 0.23534 0.23270 0.14785 0.33698 0.26367 0.73757
LOF 8 0.31694 0.24141 0.28154 0.20209 0.34921 0.27725 0.71078
LOF 11 0.34426 0.27175 0.26955 0.18878 0.35659 0.28544 0.71834
LOF 63 0.27869 0.19893 0.23742 0.15309 0.37247 0.30308 0.73999
LOF 100 0.30055 0.22321 0.24843 0.16532 0.36295 0.29251 0.76949
SimplifiedLOF 15 0.34426 0.27175 0.27394 0.19365 0.34711 0.27491 0.70738
SimplifiedLOF 16 0.33333 0.25962 0.27876 0.19901 0.34913 0.27716 0.71182
SimplifiedLOF 92 0.30055 0.22321 0.23930 0.15519 0.36978 0.30010 0.72729
SimplifiedLOF 99 0.29508 0.21714 0.24047 0.15649 0.36786 0.29797 0.72866
LoOP 13 0.29508 0.21714 0.25642 0.17420 0.32577 0.25122 0.69091
LoOP 16 0.33333 0.25962 0.25425 0.17179 0.35294 0.28139 0.70048
LoOP 96 0.28962 0.21107 0.23763 0.15333 0.36436 0.29407 0.71552
LoOP 99 0.29508 0.21714 0.23834 0.15412 0.36364 0.29327 0.71650
LDOF 18 0.31694 0.24141 0.24543 0.16200 0.33079 0.25679 0.66681
LDOF 23 0.33880 0.26569 0.23558 0.15106 0.34450 0.27202 0.67852
LDOF 65 0.30601 0.22927 0.23361 0.14887 0.36078 0.29010 0.71491
LDOF 99 0.28962 0.21107 0.23547 0.15093 0.35161 0.27991 0.72443
ODIN 70 0.33698 0.26366 0.24596 0.16259 0.36260 0.29212 0.71759
ODIN 91 0.34973 0.27782 0.25152 0.16876 0.35294 0.28139 0.73045
ODIN 96 0.34754 0.27540 0.25607 0.17381 0.35343 0.28194 0.73468
ODIN 100 0.33758 0.26434 0.25443 0.17199 0.35377 0.28231 0.73811
FastABOD 5 0.27322 0.19286 0.23543 0.15089 0.33829 0.26512 0.69301
FastABOD 7 0.28415 0.20500 0.24043 0.15644 0.32727 0.25289 0.69738
FastABOD 15 0.30601 0.22927 0.23860 0.15441 0.32959 0.25546 0.69796
FastABOD 18 0.30601 0.22927 0.23741 0.15308 0.32496 0.25032 0.69800
KDEOS 19 0.21858 0.13217 0.16835 0.07639 0.26087 0.17914 0.65914
KDEOS 100 0.21311 0.12611 0.18179 0.09132 0.30252 0.22540 0.69354
LDF 6 0.31148 0.23534 0.25500 0.17262 0.31830 0.24292 0.65847
LDF 9 0.30055 0.22321 0.29464 0.21665 0.33677 0.26343 0.71161
LDF 93 0.31148 0.23534 0.25025 0.16734 0.34866 0.27664 0.78376
LDF 100 0.30055 0.22321 0.25572 0.17342 0.34542 0.27304 0.79054
INFLO 8 0.31694 0.24141 0.24894 0.16590 0.32754 0.25319 0.64524
INFLO 11 0.31694 0.24141 0.25817 0.17614 0.32544 0.25086 0.68345
INFLO 63 0.28962 0.21107 0.23616 0.15170 0.36596 0.29585 0.72071
INFLO 88 0.30055 0.22321 0.24443 0.16088 0.35808 0.28710 0.74389
COF 16 0.25137 0.16859 0.21371 0.12676 0.29130 0.21294 0.67544
COF 47 0.27869 0.19893 0.26359 0.18216 0.32589 0.25135 0.66014
COF 70 0.29508 0.21714 0.23129 0.14629 0.32743 0.25307 0.65760
COF 83 0.31148 0.23534 0.21289 0.12586 0.32086 0.24576 0.65472

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO