Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Cardiotocography (10% of outliers version#01)

Data set related to heart diseases. It describes 3 classes: normal, suspect, or pathological. Normal patients are treated as inliers and the remaining as outliers.

Download all data set variants used (8.8 MB). You can also access the original data. (CTG.xls)

Normalized, without duplicates

This version contains 21 attributes, 1831 objects, 183 outliers (9.99%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (71.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 72 0.41530 0.35037 0.35939 0.28826 0.41644 0.35164 0.74112
KNN 94 0.40984 0.34430 0.36999 0.30003 0.41954 0.35508 0.74869
KNN 100 0.40984 0.34430 0.37141 0.30161 0.41848 0.35390 0.74976
KNNW 90 0.39891 0.33216 0.34180 0.26871 0.41379 0.34870 0.72876
KNNW 97 0.39344 0.32609 0.34347 0.27056 0.41763 0.35297 0.73061
KNNW 100 0.39344 0.32609 0.34400 0.27115 0.41648 0.35168 0.73125
LOF 42 0.33880 0.26538 0.23160 0.14628 0.34054 0.26731 0.72186
LOF 99 0.31148 0.23502 0.25634 0.17376 0.36634 0.29597 0.76432
LOF 100 0.31148 0.23502 0.25699 0.17449 0.36513 0.29463 0.76464
SimplifiedLOF 17 0.31694 0.24109 0.25842 0.17608 0.34719 0.27470 0.68782
SimplifiedLOF 19 0.31694 0.24109 0.25942 0.17719 0.33415 0.26021 0.69478
SimplifiedLOF 20 0.32787 0.25323 0.25849 0.17615 0.33414 0.26020 0.69609
SimplifiedLOF 100 0.31694 0.24109 0.24100 0.15672 0.34211 0.26905 0.72520
LoOP 18 0.32240 0.24716 0.23620 0.15139 0.32804 0.25343 0.67697
LoOP 21 0.30601 0.22895 0.23819 0.15360 0.32749 0.25281 0.68215
LoOP 92 0.30601 0.22895 0.22922 0.14363 0.33882 0.26540 0.70512
LoOP 99 0.31148 0.23502 0.23195 0.14667 0.33535 0.26155 0.70867
LDOF 20 0.30055 0.22288 0.22245 0.13611 0.30726 0.23034 0.66599
LDOF 21 0.29508 0.21681 0.22313 0.13686 0.30805 0.23121 0.67115
LDOF 69 0.29508 0.21681 0.21568 0.12859 0.32906 0.25456 0.68285
LDOF 99 0.28415 0.20466 0.22288 0.13659 0.32662 0.25185 0.69830
ODIN 98 0.25865 0.17633 0.22059 0.13405 0.31434 0.23820 0.71638
ODIN 99 0.25683 0.17431 0.22071 0.13418 0.31537 0.23935 0.71714
ODIN 100 0.25515 0.17244 0.22063 0.13409 0.31727 0.24146 0.71769
FastABOD 10 0.29508 0.21681 0.23860 0.15405 0.29810 0.22016 0.69492
FastABOD 96 0.26776 0.18645 0.24689 0.16326 0.32948 0.25502 0.71513
FastABOD 99 0.26776 0.18645 0.24602 0.16229 0.32996 0.25555 0.71522
FastABOD 100 0.26776 0.18645 0.24599 0.16226 0.32996 0.25555 0.71530
KDEOS 13 0.20219 0.11359 0.14799 0.05337 0.22591 0.13996 0.60746
KDEOS 99 0.18579 0.09538 0.16091 0.06773 0.25287 0.16991 0.65750
KDEOS 100 0.18033 0.08931 0.16077 0.06758 0.25421 0.17139 0.65831
LDF 87 0.37158 0.30180 0.32655 0.25177 0.38095 0.31221 0.75987
LDF 97 0.36612 0.29573 0.34738 0.27491 0.39252 0.32507 0.76271
LDF 100 0.36066 0.28966 0.35166 0.27967 0.39024 0.32253 0.76439
INFLO 95 0.30601 0.22895 0.23970 0.15528 0.35294 0.28109 0.73584
INFLO 99 0.32240 0.24716 0.24218 0.15803 0.35629 0.28482 0.73464
COF 14 0.31694 0.24109 0.26287 0.18102 0.31694 0.24109 0.66967
COF 18 0.31148 0.23502 0.27124 0.19031 0.32581 0.25095 0.67926
COF 73 0.26776 0.18645 0.28054 0.20065 0.28331 0.20372 0.70054
COF 81 0.27869 0.19859 0.28923 0.21031 0.29048 0.21170 0.69877

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 1838 objects, 183 outliers (9.96%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (71.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 85 0.36612 0.29603 0.33297 0.25922 0.38934 0.32182 0.74023
KNN 94 0.36066 0.28996 0.33649 0.26312 0.39425 0.32727 0.74275
KNN 100 0.36066 0.28996 0.33933 0.26628 0.39264 0.32548 0.74428
KNNW 19 0.36066 0.28996 0.28687 0.20802 0.36725 0.29728 0.67164
KNNW 88 0.34973 0.27782 0.31077 0.23456 0.37981 0.31123 0.71841
KNNW 100 0.34973 0.27782 0.31345 0.23753 0.37619 0.30721 0.72221
LOF 33 0.30601 0.22927 0.21650 0.12987 0.32409 0.24936 0.71329
LOF 100 0.26230 0.18072 0.24386 0.16025 0.34851 0.27647 0.75495
SimplifiedLOF 16 0.27869 0.19893 0.24914 0.16611 0.33058 0.25656 0.69078
SimplifiedLOF 18 0.29508 0.21714 0.24557 0.16215 0.33913 0.26606 0.69430
SimplifiedLOF 27 0.27869 0.19893 0.22799 0.14262 0.34749 0.27534 0.69206
SimplifiedLOF 100 0.27322 0.19286 0.22353 0.13767 0.30280 0.22571 0.72143
LoOP 16 0.27322 0.19286 0.22023 0.13401 0.29530 0.21738 0.67775
LoOP 37 0.25137 0.16859 0.20500 0.11709 0.32157 0.24655 0.68010
LoOP 68 0.28415 0.20500 0.20724 0.11958 0.30837 0.23189 0.69402
LoOP 100 0.26776 0.18679 0.21407 0.12716 0.30508 0.22825 0.70971
LDOF 20 0.29508 0.21714 0.21712 0.13055 0.29932 0.22184 0.65174
LDOF 62 0.30055 0.22321 0.19873 0.11012 0.31382 0.23794 0.66252
LDOF 67 0.28415 0.20500 0.19504 0.10604 0.32524 0.25063 0.66370
LDOF 100 0.25683 0.17466 0.19994 0.11148 0.29762 0.21995 0.68009
ODIN 98 0.23497 0.15038 0.21687 0.13028 0.30938 0.23301 0.72328
ODIN 99 0.23077 0.14571 0.21750 0.13097 0.31280 0.23681 0.72394
ODIN 100 0.23224 0.14735 0.21684 0.13024 0.31310 0.23715 0.72503
FastABOD 47 0.30055 0.22321 0.23506 0.15048 0.32900 0.25481 0.69997
FastABOD 98 0.28415 0.20500 0.24194 0.15812 0.33947 0.26643 0.70406
FastABOD 99 0.28415 0.20500 0.24172 0.15787 0.34034 0.26740 0.70404
FastABOD 100 0.28415 0.20500 0.24161 0.15775 0.34034 0.26740 0.70408
KDEOS 14 0.19672 0.10790 0.14817 0.05398 0.23107 0.14604 0.62961
KDEOS 24 0.15847 0.06542 0.16092 0.06813 0.24668 0.16338 0.64413
KDEOS 99 0.15847 0.06542 0.15315 0.05951 0.26218 0.18060 0.66659
LDF 8 0.32787 0.25355 0.26605 0.18489 0.33239 0.25857 0.67932
LDF 98 0.32787 0.25355 0.31986 0.24466 0.34783 0.27571 0.74801
LDF 100 0.32787 0.25355 0.32136 0.24633 0.34320 0.27057 0.74858
INFLO 47 0.27869 0.19893 0.20903 0.12157 0.30700 0.23037 0.70087
INFLO 99 0.27869 0.19893 0.23017 0.14505 0.33708 0.26378 0.73598
INFLO 100 0.27869 0.19893 0.23117 0.14616 0.33333 0.25962 0.73522
COF 15 0.30055 0.22321 0.26110 0.17940 0.30670 0.23003 0.68213
COF 24 0.31148 0.23534 0.24719 0.16395 0.32891 0.25471 0.66041
COF 39 0.27869 0.19893 0.26783 0.18687 0.28496 0.20590 0.64838

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 1831 objects, 183 outliers (9.99%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (71.2 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.28415 0.20466 0.26501 0.18339 0.33257 0.25846 0.73300
KNN 51 0.37705 0.30787 0.25960 0.17738 0.38095 0.31221 0.75072
KNN 52 0.37705 0.30787 0.25897 0.17668 0.38191 0.31327 0.75058
KNN 100 0.36066 0.28966 0.26347 0.18169 0.37811 0.30905 0.75987
KNNW 3 0.27869 0.19859 0.27149 0.19060 0.31855 0.24288 0.73871
KNNW 93 0.34973 0.27752 0.25798 0.17559 0.37340 0.30382 0.75177
KNNW 97 0.35519 0.28359 0.25832 0.17596 0.37340 0.30382 0.75205
KNNW 100 0.35519 0.28359 0.25859 0.17626 0.37313 0.30352 0.75245
LOF 11 0.28962 0.21073 0.25967 0.17746 0.30735 0.23044 0.70709
LOF 85 0.30055 0.22288 0.24873 0.16531 0.38492 0.31662 0.76481
LOF 97 0.29508 0.21681 0.25262 0.16963 0.38912 0.32129 0.77285
LOF 100 0.30055 0.22288 0.25371 0.17084 0.38612 0.31795 0.77426
SimplifiedLOF 13 0.30055 0.22288 0.27321 0.19250 0.32471 0.24972 0.69112
SimplifiedLOF 18 0.32240 0.24716 0.26125 0.17921 0.32329 0.24814 0.70069
SimplifiedLOF 92 0.29508 0.21681 0.24042 0.15607 0.36111 0.29017 0.73733
SimplifiedLOF 99 0.28415 0.20466 0.23966 0.15523 0.36462 0.29407 0.73661
LoOP 10 0.30601 0.22895 0.23689 0.15215 0.30978 0.23314 0.65893
LoOP 13 0.28962 0.21073 0.25078 0.16758 0.32527 0.25035 0.67715
LoOP 91 0.27869 0.19859 0.23958 0.15514 0.35391 0.28217 0.72670
LoOP 96 0.27869 0.19859 0.23848 0.15391 0.35622 0.28474 0.72529
LDOF 26 0.32240 0.24716 0.22709 0.14126 0.33048 0.25614 0.65262
LDOF 92 0.27322 0.19252 0.24008 0.15570 0.35826 0.28700 0.72622
LDOF 95 0.26776 0.18645 0.23914 0.15465 0.36201 0.29116 0.72639
LDOF 100 0.26230 0.18038 0.23975 0.15533 0.35616 0.28467 0.72802
ODIN 66 0.32058 0.24514 0.24451 0.16062 0.34173 0.26863 0.70590
ODIN 96 0.29820 0.22027 0.25543 0.17275 0.37255 0.30287 0.72787
ODIN 99 0.29850 0.22060 0.25521 0.17251 0.37475 0.30532 0.72959
ODIN 100 0.29508 0.21681 0.25462 0.17185 0.37143 0.30163 0.73026
FastABOD 5 0.25137 0.16824 0.25009 0.16682 0.30526 0.22812 0.71869
FastABOD 39 0.28415 0.20466 0.24620 0.16249 0.30981 0.23317 0.72958
FastABOD 100 0.27869 0.19859 0.24938 0.16603 0.33106 0.25678 0.73731
KDEOS 94 0.18033 0.08931 0.18107 0.09013 0.27532 0.19485 0.68686
KDEOS 97 0.18579 0.09538 0.18663 0.09632 0.27418 0.19358 0.68925
KDEOS 98 0.19126 0.10145 0.18609 0.09571 0.27285 0.19211 0.68914
KDEOS 100 0.19126 0.10145 0.18642 0.09608 0.27500 0.19449 0.69083
LDF 9 0.30055 0.22288 0.30632 0.22930 0.34363 0.27074 0.72389
LDF 33 0.31148 0.23502 0.23135 0.14599 0.37281 0.30316 0.71330
LDF 99 0.33880 0.26538 0.27387 0.19324 0.36935 0.29932 0.80014
LDF 100 0.33880 0.26538 0.27398 0.19336 0.37126 0.30144 0.80043
INFLO 10 0.29508 0.21681 0.23907 0.15458 0.31718 0.24136 0.66587
INFLO 13 0.31148 0.23502 0.23193 0.14665 0.31233 0.23597 0.65625
INFLO 70 0.26776 0.18645 0.23423 0.14920 0.35563 0.28408 0.73548
INFLO 74 0.26230 0.18038 0.23652 0.15174 0.35216 0.28022 0.74396
COF 41 0.27869 0.19859 0.24684 0.16321 0.35209 0.28014 0.70053
COF 45 0.28415 0.20466 0.24930 0.16594 0.37006 0.30011 0.70020
COF 46 0.27869 0.19859 0.25226 0.16923 0.36726 0.29699 0.69659
COF 72 0.31694 0.24109 0.22921 0.14362 0.34125 0.26810 0.68256

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 1838 objects, 183 outliers (9.96%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (71.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 57 0.34426 0.27175 0.24164 0.15778 0.34521 0.27280 0.74984
KNN 100 0.33333 0.25962 0.24815 0.16502 0.35696 0.28585 0.76017
KNNW 3 0.27322 0.19286 0.25051 0.16764 0.33333 0.25962 0.73764
KNNW 10 0.25683 0.17466 0.23580 0.15130 0.33531 0.26181 0.72985
KNNW 83 0.31694 0.24141 0.23708 0.15272 0.32653 0.25206 0.75020
KNNW 100 0.31694 0.24141 0.23877 0.15460 0.33028 0.25622 0.75236
LOF 11 0.27869 0.19893 0.25980 0.17796 0.32420 0.24948 0.70397
LOF 92 0.27869 0.19893 0.24624 0.16290 0.36741 0.29746 0.78015
LOF 99 0.30055 0.22321 0.24913 0.16610 0.36672 0.29669 0.78354
LOF 100 0.29508 0.21714 0.24947 0.16648 0.36641 0.29635 0.78390
SimplifiedLOF 16 0.28962 0.21107 0.25993 0.17810 0.31579 0.24013 0.70753
SimplifiedLOF 17 0.30055 0.22321 0.25960 0.17773 0.31349 0.23758 0.70999
SimplifiedLOF 99 0.27869 0.19893 0.23189 0.14696 0.34686 0.27464 0.74975
SimplifiedLOF 100 0.27869 0.19893 0.23185 0.14691 0.34686 0.27464 0.74991
LoOP 15 0.28415 0.20500 0.24232 0.15854 0.30102 0.22373 0.69167
LoOP 23 0.28962 0.21107 0.22152 0.13544 0.31169 0.23558 0.69598
LoOP 90 0.27869 0.19893 0.23262 0.14777 0.34343 0.27084 0.73561
LoOP 91 0.27322 0.19286 0.23339 0.14862 0.34263 0.26994 0.73765
LDOF 25 0.31148 0.23534 0.21901 0.13265 0.31319 0.23724 0.65424
LDOF 97 0.25683 0.17466 0.22977 0.14460 0.33880 0.26569 0.74068
LDOF 98 0.25137 0.16859 0.22996 0.14481 0.33874 0.26562 0.74095
LDOF 99 0.25683 0.17466 0.23027 0.14516 0.33880 0.26569 0.74029
ODIN 77 0.31512 0.23939 0.25316 0.17058 0.34622 0.27393 0.73193
ODIN 86 0.30905 0.23265 0.25987 0.17803 0.35756 0.28653 0.73604
ODIN 100 0.30289 0.22581 0.26434 0.18299 0.35319 0.28167 0.74317
FastABOD 4 0.26776 0.18679 0.22977 0.14460 0.29924 0.22175 0.72132
FastABOD 5 0.26230 0.18072 0.23928 0.15516 0.31061 0.23438 0.72428
FastABOD 100 0.26776 0.18679 0.21993 0.13367 0.29866 0.22111 0.72932
KDEOS 74 0.18579 0.09576 0.19470 0.10566 0.28409 0.20493 0.70487
KDEOS 98 0.19126 0.10183 0.19389 0.10475 0.29419 0.21615 0.71443
KDEOS 99 0.20219 0.11397 0.19329 0.10409 0.29412 0.21607 0.71451
LDF 9 0.32240 0.24748 0.28593 0.20697 0.34536 0.27297 0.70353
LDF 93 0.33880 0.26569 0.26586 0.18468 0.36794 0.29805 0.79420
LDF 99 0.32787 0.25355 0.27128 0.19070 0.37431 0.30513 0.80012
LDF 100 0.33333 0.25962 0.27163 0.19109 0.37251 0.30313 0.80019
INFLO 82 0.29508 0.21714 0.23304 0.14823 0.35452 0.28314 0.73709
INFLO 93 0.31148 0.23534 0.23867 0.15448 0.34899 0.27701 0.75061
INFLO 94 0.30601 0.22927 0.23914 0.15500 0.34942 0.27748 0.75373
COF 18 0.26776 0.18679 0.22167 0.13561 0.30284 0.22575 0.69730
COF 42 0.29508 0.21714 0.24901 0.16597 0.32671 0.25226 0.67610
COF 82 0.31694 0.24141 0.21814 0.13168 0.33663 0.26328 0.65555
COF 97 0.32787 0.25355 0.21715 0.13058 0.32891 0.25471 0.66348

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO