Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Cardiotocography (10% of outliers version#07)

Data set related to heart diseases. It describes 3 classes: normal, suspect, or pathological. Normal patients are treated as inliers and the remaining as outliers.

Download all data set variants used (8.8 MB). You can also access the original data. (CTG.xls)

Normalized, without duplicates

This version contains 21 attributes, 1831 objects, 183 outliers (9.99%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (72.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 93 0.37705 0.30787 0.35724 0.28587 0.38783 0.31986 0.75119
KNN 99 0.37158 0.30180 0.35969 0.28859 0.39085 0.32321 0.75294
KNN 100 0.37158 0.30180 0.35952 0.28839 0.38806 0.32011 0.75303
KNNW 74 0.33880 0.26538 0.32163 0.24630 0.35945 0.28832 0.72335
KNNW 100 0.33333 0.25930 0.32968 0.25525 0.37744 0.30831 0.73226
LOF 79 0.28962 0.21073 0.23859 0.15404 0.31967 0.24413 0.74678
LOF 100 0.26776 0.18645 0.26067 0.17858 0.34195 0.26888 0.76052
SimplifiedLOF 38 0.25137 0.16824 0.19188 0.10214 0.33696 0.26333 0.67570
SimplifiedLOF 91 0.29508 0.21681 0.21735 0.13044 0.32014 0.24464 0.70791
SimplifiedLOF 100 0.29508 0.21681 0.22267 0.13635 0.32224 0.24698 0.71323
LoOP 74 0.25683 0.17431 0.19667 0.10746 0.32203 0.24675 0.68360
LoOP 94 0.27869 0.19859 0.20800 0.12006 0.31579 0.23981 0.69618
LoOP 100 0.27869 0.19859 0.21236 0.12489 0.31602 0.24007 0.69965
LDOF 19 0.26776 0.18645 0.17935 0.08822 0.28141 0.20161 0.61395
LDOF 81 0.25683 0.17431 0.18406 0.09345 0.30063 0.22297 0.65048
LDOF 100 0.26776 0.18645 0.19296 0.10334 0.29231 0.21372 0.66456
ODIN 98 0.25519 0.17248 0.19783 0.10876 0.31016 0.23356 0.71700
ODIN 99 0.25839 0.17604 0.19825 0.10922 0.30986 0.23322 0.71762
ODIN 100 0.25410 0.17127 0.19870 0.10972 0.30714 0.23021 0.71804
FastABOD 16 0.30601 0.22895 0.22358 0.13737 0.30769 0.23082 0.68439
FastABOD 100 0.27869 0.19859 0.23953 0.15509 0.31496 0.23889 0.69705
KDEOS 12 0.15847 0.06502 0.12942 0.03275 0.20167 0.11302 0.56626
KDEOS 23 0.15301 0.05895 0.13922 0.04363 0.22889 0.14327 0.59369
KDEOS 68 0.12568 0.02860 0.12900 0.03228 0.23701 0.15228 0.61045
KDEOS 100 0.13661 0.04074 0.13558 0.03959 0.23516 0.15023 0.63096
LDF 93 0.38251 0.31395 0.35536 0.28378 0.42208 0.35790 0.76739
LDF 95 0.38798 0.32002 0.35705 0.28565 0.41967 0.35523 0.76768
LDF 96 0.38798 0.32002 0.35927 0.28812 0.41967 0.35523 0.76808
LDF 100 0.38798 0.32002 0.36919 0.29914 0.42000 0.35559 0.76784
INFLO 87 0.27322 0.19252 0.21551 0.12840 0.32218 0.24691 0.71085
INFLO 91 0.26776 0.18645 0.21897 0.13225 0.33028 0.25591 0.71288
INFLO 100 0.27322 0.19252 0.22832 0.14263 0.32527 0.25035 0.72282
COF 40 0.32787 0.25323 0.27596 0.19556 0.33062 0.25629 0.65095
COF 43 0.31694 0.24109 0.28123 0.20142 0.33231 0.25816 0.64872
COF 94 0.27869 0.19859 0.30827 0.23146 0.29101 0.21228 0.69089
COF 96 0.27322 0.19252 0.30880 0.23205 0.29208 0.21347 0.68960

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 1838 objects, 183 outliers (9.96%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (71.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 7 0.34426 0.27175 0.27324 0.19288 0.34521 0.27280 0.64235
KNN 67 0.33333 0.25962 0.32433 0.24962 0.35730 0.28623 0.72181
KNN 98 0.34426 0.27175 0.34004 0.26707 0.35294 0.28139 0.73174
KNNW 7 0.34973 0.27782 0.28734 0.20854 0.35359 0.28212 0.64730
KNNW 11 0.34426 0.27175 0.28561 0.20661 0.35632 0.28515 0.64450
KNNW 100 0.33333 0.25962 0.31139 0.23525 0.35013 0.27827 0.70534
LOF 84 0.29508 0.21714 0.24746 0.16424 0.32514 0.25051 0.75129
LOF 99 0.27322 0.19286 0.26124 0.17956 0.33616 0.26275 0.76154
LOF 100 0.27869 0.19893 0.26126 0.17957 0.33616 0.26275 0.76183
SimplifiedLOF 9 0.27869 0.19893 0.25019 0.16728 0.29798 0.22035 0.66280
SimplifiedLOF 15 0.31694 0.24141 0.24007 0.15604 0.33126 0.25732 0.68200
SimplifiedLOF 18 0.30601 0.22927 0.23035 0.14525 0.34298 0.27034 0.67809
SimplifiedLOF 100 0.28415 0.20500 0.23238 0.14750 0.32609 0.25157 0.71583
LoOP 17 0.29508 0.21714 0.20609 0.11830 0.30769 0.23114 0.66481
LoOP 98 0.26776 0.18679 0.21958 0.13328 0.32542 0.25083 0.70246
LoOP 99 0.26776 0.18679 0.22036 0.13415 0.32542 0.25083 0.70415
LoOP 100 0.26776 0.18679 0.22078 0.13462 0.32215 0.24719 0.70404
LDOF 21 0.26776 0.18679 0.20837 0.12084 0.31527 0.23956 0.65419
LDOF 24 0.29508 0.21714 0.19998 0.11152 0.30224 0.22508 0.65094
LDOF 90 0.25683 0.17466 0.20022 0.11178 0.32766 0.25332 0.66376
LDOF 100 0.25683 0.17466 0.20410 0.11609 0.31884 0.24352 0.66945
ODIN 95 0.23497 0.15038 0.21162 0.12445 0.31304 0.23708 0.72379
ODIN 100 0.24044 0.15645 0.21384 0.12691 0.30798 0.23147 0.72747
FastABOD 45 0.31148 0.23534 0.24262 0.15887 0.31233 0.23629 0.69106
FastABOD 99 0.29508 0.21714 0.24829 0.16517 0.31925 0.24398 0.69986
FastABOD 100 0.29508 0.21714 0.24824 0.16512 0.32000 0.24481 0.69998
KDEOS 12 0.16940 0.07756 0.14149 0.04656 0.22483 0.13912 0.61061
KDEOS 23 0.13115 0.03508 0.15276 0.05908 0.24059 0.15661 0.61007
KDEOS 99 0.14208 0.04721 0.14631 0.05191 0.26298 0.18148 0.64247
KDEOS 100 0.14754 0.05328 0.14718 0.05288 0.26166 0.18002 0.64317
LDF 5 0.35519 0.28389 0.30234 0.22519 0.36858 0.29876 0.68314
LDF 99 0.33333 0.25962 0.34144 0.26862 0.35976 0.28896 0.75798
INFLO 98 0.27869 0.19893 0.23286 0.14803 0.33460 0.26102 0.71738
INFLO 99 0.28415 0.20500 0.23467 0.15004 0.33397 0.26032 0.72491
INFLO 100 0.28415 0.20500 0.23515 0.15058 0.33333 0.25962 0.72577
COF 12 0.30055 0.22321 0.26296 0.18146 0.31873 0.24339 0.69975
COF 38 0.31694 0.24141 0.27404 0.19376 0.32222 0.24728 0.65106
COF 53 0.30601 0.22927 0.27617 0.19613 0.33803 0.26483 0.65165
COF 86 0.26776 0.18679 0.28607 0.20713 0.27778 0.19792 0.67370

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 1831 objects, 183 outliers (9.99%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (71.5 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.28962 0.21073 0.25110 0.16794 0.32178 0.24647 0.72916
KNN 69 0.33880 0.26538 0.23927 0.15480 0.35676 0.28533 0.74244
KNN 98 0.34973 0.27752 0.24193 0.15775 0.35171 0.27972 0.74647
KNN 100 0.34973 0.27752 0.24234 0.15821 0.35079 0.27869 0.74673
KNNW 3 0.26776 0.18645 0.25316 0.17023 0.32682 0.25207 0.72968
KNNW 8 0.31694 0.24109 0.24118 0.15691 0.31753 0.24174 0.73227
KNNW 91 0.30055 0.22288 0.23570 0.15082 0.34191 0.26884 0.73941
KNNW 100 0.30601 0.22895 0.23666 0.15189 0.34074 0.26753 0.74037
LOF 8 0.30055 0.22288 0.27108 0.19014 0.32558 0.25069 0.70906
LOF 9 0.31694 0.24109 0.27031 0.18928 0.32976 0.25534 0.71355
LOF 100 0.30055 0.22288 0.25059 0.16737 0.37477 0.30535 0.77655
SimplifiedLOF 13 0.28962 0.21073 0.26620 0.18471 0.32091 0.24550 0.71535
SimplifiedLOF 17 0.30601 0.22895 0.25491 0.17217 0.33083 0.25652 0.71356
SimplifiedLOF 96 0.28962 0.21073 0.23339 0.14827 0.35810 0.28682 0.73600
SimplifiedLOF 100 0.29508 0.21681 0.23405 0.14899 0.35701 0.28561 0.73654
LoOP 14 0.27322 0.19252 0.23738 0.15269 0.30638 0.22936 0.69736
LoOP 87 0.30055 0.22288 0.22668 0.14081 0.35036 0.27823 0.72043
LoOP 94 0.29508 0.21681 0.22875 0.14310 0.34824 0.27586 0.72301
LDOF 22 0.32240 0.24716 0.23400 0.14894 0.34826 0.27589 0.64840
LDOF 96 0.28415 0.20466 0.23027 0.14480 0.35274 0.28087 0.72963
LDOF 100 0.28415 0.20466 0.23088 0.14547 0.34768 0.27524 0.72994
ODIN 91 0.32787 0.25323 0.26085 0.17877 0.35772 0.28640 0.73064
ODIN 96 0.31639 0.24048 0.26773 0.18642 0.35907 0.28790 0.73339
ODIN 98 0.31694 0.24109 0.26531 0.18372 0.36117 0.29023 0.73462
ODIN 100 0.32172 0.24640 0.26618 0.18469 0.36077 0.28979 0.73676
FastABOD 89 0.29508 0.21681 0.23791 0.15329 0.31228 0.23591 0.71426
FastABOD 93 0.30055 0.22288 0.23768 0.15303 0.31325 0.23699 0.71433
FastABOD 100 0.30055 0.22288 0.23783 0.15320 0.31579 0.23981 0.71460
KDEOS 97 0.19672 0.10752 0.16892 0.07663 0.29551 0.21729 0.69536
KDEOS 100 0.18033 0.08931 0.17054 0.07843 0.29333 0.21486 0.69694
LDF 8 0.32787 0.25323 0.30141 0.22384 0.34562 0.27296 0.72562
LDF 55 0.27869 0.19859 0.23214 0.14688 0.36768 0.29746 0.74559
LDF 89 0.33333 0.25930 0.25247 0.16946 0.36330 0.29259 0.77802
LDF 100 0.33333 0.25930 0.26195 0.17999 0.36025 0.28921 0.78881
INFLO 68 0.27869 0.19859 0.22828 0.14258 0.35368 0.28191 0.72856
INFLO 91 0.32240 0.24716 0.23559 0.15071 0.34034 0.26708 0.73679
INFLO 96 0.31694 0.24109 0.23752 0.15286 0.34583 0.27319 0.74464
INFLO 97 0.31148 0.23502 0.23759 0.15293 0.34440 0.27160 0.74464
COF 14 0.27869 0.19859 0.26299 0.18115 0.31628 0.24036 0.71268
COF 48 0.33333 0.25930 0.27044 0.18943 0.35294 0.28109 0.67527
COF 49 0.32787 0.25323 0.26757 0.18624 0.36150 0.29060 0.67363
COF 57 0.34973 0.27752 0.26314 0.18132 0.35326 0.28144 0.67060

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 1838 objects, 183 outliers (9.96%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (70.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.27869 0.19893 0.25357 0.17103 0.29840 0.22082 0.71597
KNN 61 0.33880 0.26569 0.23464 0.15001 0.34146 0.26865 0.71979
KNN 91 0.33880 0.26569 0.23595 0.15147 0.35263 0.28105 0.72350
KNN 100 0.33880 0.26569 0.23654 0.15212 0.35079 0.27900 0.72615
KNNW 2 0.26230 0.18072 0.27151 0.19095 0.30939 0.23303 0.72276
KNNW 3 0.27869 0.19893 0.26411 0.18274 0.30686 0.23022 0.72281
KNNW 62 0.31148 0.23534 0.23081 0.14575 0.32338 0.24857 0.71287
KNNW 91 0.30601 0.22927 0.23199 0.14707 0.33333 0.25962 0.71739
LOF 8 0.31694 0.24141 0.28453 0.20542 0.33333 0.25962 0.70891
LOF 94 0.30055 0.22321 0.24260 0.15885 0.36149 0.29089 0.75124
LOF 100 0.30601 0.22927 0.24477 0.16126 0.35867 0.28776 0.75416
SimplifiedLOF 15 0.28962 0.21107 0.28024 0.20066 0.32248 0.24756 0.70722
SimplifiedLOF 23 0.28415 0.20500 0.25560 0.17329 0.35073 0.27894 0.70540
SimplifiedLOF 70 0.32240 0.24748 0.23909 0.15495 0.34118 0.26833 0.71518
SimplifiedLOF 98 0.28962 0.21107 0.23655 0.15213 0.34804 0.27595 0.71771
LoOP 15 0.27869 0.19893 0.25964 0.17778 0.31353 0.23763 0.69433
LoOP 73 0.30601 0.22927 0.23670 0.15230 0.34468 0.27222 0.70233
LoOP 76 0.30055 0.22321 0.23809 0.15385 0.35095 0.27918 0.70267
LoOP 78 0.28962 0.21107 0.23845 0.15424 0.35043 0.27860 0.70464
LDOF 84 0.31148 0.23534 0.23630 0.15185 0.33506 0.26154 0.70814
LDOF 95 0.30055 0.22321 0.23977 0.15571 0.34336 0.27076 0.71360
LDOF 99 0.30055 0.22321 0.24149 0.15762 0.34111 0.26826 0.71408
LDOF 100 0.30601 0.22927 0.24144 0.15757 0.34295 0.27030 0.71459
ODIN 74 0.33880 0.26569 0.26867 0.18780 0.35048 0.27866 0.71081
ODIN 98 0.31803 0.24262 0.27616 0.19612 0.36771 0.29780 0.72245
ODIN 100 0.31382 0.23794 0.27564 0.19555 0.37500 0.30589 0.72387
FastABOD 8 0.27869 0.19893 0.26159 0.17994 0.29421 0.21617 0.71734
FastABOD 56 0.28962 0.21107 0.25459 0.17217 0.31216 0.23610 0.71925
FastABOD 99 0.28415 0.20500 0.25421 0.17175 0.32044 0.24530 0.72312
FastABOD 100 0.28415 0.20500 0.25420 0.17173 0.31868 0.24335 0.72312
KDEOS 44 0.20765 0.12004 0.16317 0.07064 0.25662 0.17443 0.65977
KDEOS 98 0.20219 0.11397 0.18762 0.09779 0.28280 0.20350 0.68992
KDEOS 100 0.20219 0.11397 0.18673 0.09680 0.28571 0.20673 0.69045
LDF 8 0.36066 0.28996 0.29823 0.22063 0.37101 0.30147 0.72574
LDF 100 0.33333 0.25962 0.24987 0.16693 0.34054 0.26762 0.76966
INFLO 9 0.26776 0.18679 0.26632 0.18519 0.29968 0.22225 0.68683
INFLO 87 0.30601 0.22927 0.23601 0.15153 0.34879 0.27678 0.71455
INFLO 94 0.30055 0.22321 0.23639 0.15196 0.35056 0.27875 0.71613
INFLO 100 0.29508 0.21714 0.23902 0.15487 0.34821 0.27614 0.72741
COF 13 0.26230 0.18072 0.23379 0.14907 0.28070 0.20117 0.69422
COF 63 0.30055 0.22321 0.26179 0.18016 0.33118 0.25723 0.68053
COF 75 0.30601 0.22927 0.24651 0.16320 0.33333 0.25962 0.67334
COF 77 0.30055 0.22321 0.23872 0.15454 0.34071 0.26781 0.67234

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO