Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Cardiotocography (10% of outliers version#03)

Data set related to heart diseases. It describes 3 classes: normal, suspect, or pathological. Normal patients are treated as inliers and the remaining as outliers.

Download all data set variants used (8.8 MB). You can also access the original data. (CTG.xls)

Normalized, without duplicates

This version contains 21 attributes, 1831 objects, 183 outliers (9.99%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (71.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 74 0.34973 0.27752 0.31562 0.23962 0.36697 0.29668 0.69852
KNN 94 0.36066 0.28966 0.32253 0.24731 0.36257 0.29179 0.70670
KNN 100 0.35519 0.28359 0.32433 0.24930 0.36257 0.29179 0.70834
KNNW 10 0.35519 0.28359 0.27376 0.19312 0.35519 0.28359 0.64392
KNNW 97 0.35519 0.28359 0.29964 0.22186 0.36031 0.28928 0.68109
KNNW 100 0.35519 0.28359 0.30037 0.22268 0.35938 0.28824 0.68208
LOF 34 0.30055 0.22288 0.20937 0.12158 0.31963 0.24408 0.67595
LOF 100 0.27322 0.19252 0.23898 0.15447 0.31111 0.23461 0.73368
SimplifiedLOF 13 0.27322 0.19252 0.24374 0.15976 0.29787 0.21991 0.65904
SimplifiedLOF 17 0.29508 0.21681 0.23828 0.15370 0.31533 0.23931 0.66922
SimplifiedLOF 41 0.24044 0.15609 0.21273 0.12531 0.32454 0.24954 0.65973
SimplifiedLOF 100 0.26776 0.18645 0.22294 0.13665 0.29717 0.21912 0.69254
LoOP 8 0.25683 0.17431 0.22513 0.13908 0.27027 0.18924 0.60784
LoOP 16 0.26776 0.18645 0.21786 0.13101 0.29550 0.21727 0.65201
LoOP 22 0.26230 0.18038 0.20659 0.11849 0.30968 0.23302 0.65045
LoOP 100 0.26230 0.18038 0.21267 0.12524 0.29328 0.21480 0.67788
LDOF 15 0.24590 0.16216 0.23174 0.14643 0.26540 0.18383 0.63834
LDOF 17 0.26230 0.18038 0.22314 0.13688 0.27655 0.19622 0.64319
LDOF 19 0.25683 0.17431 0.22107 0.13457 0.29461 0.21628 0.64450
LDOF 100 0.24044 0.15609 0.19794 0.10887 0.27962 0.19963 0.65849
ODIN 93 0.23740 0.15272 0.19456 0.10512 0.28070 0.20083 0.69330
ODIN 99 0.24632 0.16263 0.19742 0.10830 0.27854 0.19843 0.69732
ODIN 100 0.24590 0.16216 0.19783 0.10876 0.27856 0.19845 0.69804
FastABOD 14 0.28962 0.21073 0.22015 0.13356 0.29897 0.22112 0.68914
FastABOD 81 0.26776 0.18645 0.22530 0.13927 0.30028 0.22258 0.69292
FastABOD 91 0.27322 0.19252 0.22490 0.13883 0.30428 0.22703 0.69411
FastABOD 99 0.27322 0.19252 0.22504 0.13899 0.30428 0.22703 0.69466
KDEOS 11 0.16940 0.07717 0.15892 0.06553 0.23443 0.14942 0.60444
KDEOS 18 0.19126 0.10145 0.14944 0.05499 0.24218 0.15803 0.61733
KDEOS 20 0.14208 0.04681 0.15089 0.05661 0.24688 0.16325 0.61926
KDEOS 100 0.15847 0.06502 0.14749 0.05283 0.23904 0.15454 0.63224
LDF 93 0.34973 0.27752 0.30697 0.23001 0.37037 0.30045 0.73367
LDF 100 0.34426 0.27145 0.31583 0.23986 0.37299 0.30336 0.73562
INFLO 89 0.26230 0.18038 0.21851 0.13173 0.30642 0.22940 0.70823
INFLO 96 0.28415 0.20466 0.22149 0.13505 0.30556 0.22844 0.71246
INFLO 97 0.28415 0.20466 0.22184 0.13543 0.30206 0.22456 0.71306
INFLO 100 0.27869 0.19859 0.22274 0.13644 0.30189 0.22437 0.70975
COF 15 0.28962 0.21073 0.23030 0.14483 0.29873 0.22086 0.66478
COF 29 0.27869 0.19859 0.24173 0.15753 0.30660 0.22961 0.63647
COF 35 0.29508 0.21681 0.25845 0.17610 0.29589 0.21770 0.63174
COF 100 0.25683 0.17431 0.28514 0.20576 0.27735 0.19710 0.65274

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 1838 objects, 183 outliers (9.96%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (71.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 39 0.36612 0.29603 0.32655 0.25208 0.37017 0.30052 0.72299
KNN 98 0.36612 0.29603 0.36881 0.29902 0.39171 0.32445 0.75576
KNN 100 0.36612 0.29603 0.36948 0.29977 0.39042 0.32302 0.75605
KNNW 12 0.37158 0.30210 0.29207 0.21379 0.37500 0.30589 0.65692
KNNW 100 0.37158 0.30210 0.33464 0.26107 0.37260 0.30323 0.72831
LOF 80 0.28415 0.20500 0.22691 0.14143 0.29706 0.21934 0.73175
LOF 100 0.26230 0.18072 0.25120 0.16840 0.31667 0.24111 0.75155
SimplifiedLOF 10 0.29508 0.21714 0.23063 0.14556 0.30211 0.22495 0.64800
SimplifiedLOF 13 0.28962 0.21107 0.23107 0.14604 0.30208 0.22491 0.65418
SimplifiedLOF 25 0.28415 0.20500 0.21058 0.12329 0.31910 0.24381 0.65917
SimplifiedLOF 100 0.25683 0.17466 0.21377 0.12683 0.29158 0.21325 0.70003
LoOP 10 0.28415 0.20500 0.20898 0.12151 0.29126 0.21289 0.63608
LoOP 16 0.25683 0.17466 0.20994 0.12257 0.28684 0.20798 0.64997
LoOP 83 0.24590 0.16252 0.19658 0.10774 0.30038 0.22302 0.67882
LoOP 100 0.26776 0.18679 0.20541 0.11755 0.29348 0.21536 0.69237
LDOF 15 0.25137 0.16859 0.21152 0.12433 0.26457 0.18325 0.63454
LDOF 20 0.26776 0.18679 0.20828 0.12074 0.27822 0.19840 0.63401
LDOF 91 0.21858 0.13217 0.18207 0.09162 0.28696 0.20811 0.65458
LDOF 100 0.21858 0.13217 0.18469 0.09454 0.27755 0.19767 0.66050
ODIN 95 0.23123 0.14623 0.20226 0.11406 0.29375 0.21566 0.71892
ODIN 97 0.22780 0.14242 0.20415 0.11615 0.29642 0.21862 0.72020
ODIN 100 0.23087 0.14583 0.20647 0.11872 0.29187 0.21357 0.72254
FastABOD 51 0.36066 0.28996 0.24769 0.16450 0.36066 0.28996 0.71885
FastABOD 96 0.33333 0.25962 0.24930 0.16629 0.33609 0.26268 0.72462
FastABOD 100 0.33333 0.25962 0.24897 0.16593 0.33333 0.25962 0.72500
KDEOS 18 0.17486 0.08362 0.15655 0.06329 0.23181 0.14686 0.61844
KDEOS 40 0.20219 0.11397 0.14662 0.05225 0.21998 0.13373 0.60519
KDEOS 88 0.16940 0.07756 0.14306 0.04830 0.23451 0.14987 0.61606
KDEOS 100 0.16940 0.07756 0.14602 0.05160 0.23214 0.14724 0.62434
LDF 98 0.39891 0.33244 0.38697 0.31918 0.42308 0.35928 0.77218
LDF 100 0.39891 0.33244 0.39075 0.32338 0.42581 0.36232 0.77224
INFLO 6 0.26230 0.18072 0.18752 0.09768 0.27390 0.19361 0.61700
INFLO 100 0.25137 0.16859 0.21873 0.13234 0.29940 0.22193 0.71827
COF 15 0.26776 0.18679 0.22187 0.13583 0.28485 0.20577 0.66940
COF 56 0.28962 0.21107 0.29842 0.22085 0.30723 0.23063 0.62815
COF 62 0.31694 0.24141 0.29495 0.21699 0.31868 0.24335 0.63420
COF 63 0.31148 0.23534 0.28724 0.20843 0.32345 0.24864 0.63323

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 1831 objects, 183 outliers (9.99%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (70.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.26230 0.18038 0.24526 0.16146 0.30153 0.22397 0.72674
KNN 57 0.32787 0.25323 0.21877 0.13202 0.33663 0.26297 0.70983
KNN 67 0.32240 0.24716 0.21913 0.13242 0.33871 0.26528 0.71180
KNNW 2 0.24590 0.16216 0.25441 0.17162 0.29387 0.21545 0.72559
KNNW 3 0.25683 0.17431 0.24968 0.16636 0.29665 0.21855 0.72836
KNNW 90 0.30601 0.22895 0.21610 0.12905 0.33163 0.25741 0.70705
KNNW 97 0.30055 0.22288 0.21663 0.12964 0.33505 0.26121 0.70821
LOF 8 0.31148 0.23502 0.26518 0.18358 0.31579 0.23981 0.67406
LOF 9 0.30601 0.22895 0.26715 0.18577 0.31878 0.24313 0.67649
LOF 69 0.25683 0.17431 0.21885 0.13210 0.34872 0.27640 0.72084
LOF 100 0.29781 0.21984 0.22853 0.14286 0.34221 0.26916 0.74223
SimplifiedLOF 12 0.29508 0.21681 0.26696 0.18556 0.30645 0.22944 0.67342
SimplifiedLOF 98 0.27869 0.19859 0.21672 0.12974 0.34197 0.26890 0.70359
SimplifiedLOF 99 0.27869 0.19859 0.21693 0.12998 0.34115 0.26799 0.70377
LoOP 12 0.27869 0.19859 0.25081 0.16761 0.29302 0.21452 0.65254
LoOP 18 0.29508 0.21681 0.23463 0.14964 0.30534 0.22821 0.66406
LoOP 95 0.26776 0.18645 0.21564 0.12854 0.34008 0.26680 0.69479
LoOP 100 0.27322 0.19252 0.21695 0.13000 0.33745 0.26388 0.69593
LDOF 18 0.28415 0.20466 0.25296 0.17001 0.30952 0.23285 0.64044
LDOF 22 0.31148 0.23502 0.24045 0.15610 0.31638 0.24047 0.63991
LDOF 85 0.26776 0.18645 0.21603 0.12897 0.33333 0.25930 0.69162
LDOF 99 0.26230 0.18038 0.21991 0.13328 0.33149 0.25726 0.69876
ODIN 76 0.29359 0.21515 0.24396 0.16001 0.33517 0.26135 0.70138
ODIN 85 0.28415 0.20466 0.25255 0.16955 0.35069 0.27859 0.70860
ODIN 100 0.28571 0.20640 0.25338 0.17048 0.34701 0.27451 0.71626
FastABOD 12 0.25683 0.17431 0.23033 0.14486 0.28360 0.20405 0.71913
FastABOD 15 0.25137 0.16824 0.23105 0.14566 0.28655 0.20733 0.72096
FastABOD 56 0.25137 0.16824 0.22713 0.14130 0.30528 0.22814 0.72093
FastABOD 99 0.25137 0.16824 0.22385 0.13767 0.30078 0.22314 0.72376
KDEOS 73 0.20765 0.11966 0.16945 0.07723 0.26181 0.17984 0.66861
KDEOS 99 0.18033 0.08931 0.18065 0.08967 0.28184 0.20210 0.67766
KDEOS 100 0.18033 0.08931 0.18133 0.09042 0.28169 0.20193 0.67847
LDF 8 0.28415 0.20466 0.26549 0.18392 0.30164 0.22409 0.70543
LDF 59 0.30055 0.22288 0.20825 0.12033 0.30769 0.23082 0.71484
LDF 100 0.29508 0.21681 0.23543 0.15052 0.32136 0.24600 0.76589
INFLO 9 0.27869 0.19859 0.24544 0.16165 0.28792 0.20885 0.63476
INFLO 12 0.29508 0.21681 0.23441 0.14940 0.30563 0.22852 0.63854
INFLO 50 0.24590 0.16216 0.21663 0.12965 0.32017 0.24468 0.71439
INFLO 68 0.26230 0.18038 0.21570 0.12861 0.34025 0.26699 0.70565
COF 51 0.27322 0.19252 0.24193 0.15775 0.31753 0.24174 0.67863
COF 76 0.30055 0.22288 0.21694 0.12998 0.31188 0.23547 0.69201
COF 81 0.31694 0.24109 0.21378 0.12647 0.33005 0.25566 0.69054
COF 82 0.32240 0.24716 0.21128 0.12370 0.32708 0.25235 0.68736

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 1838 objects, 183 outliers (9.96%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (72.2 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 46 0.33880 0.26569 0.23302 0.14821 0.33973 0.26672 0.73478
KNN 63 0.32787 0.25355 0.23480 0.15019 0.34646 0.27419 0.73947
KNN 100 0.32240 0.24748 0.23929 0.15518 0.34230 0.26957 0.74619
KNNW 1 0.27322 0.19286 0.23165 0.14669 0.31090 0.23471 0.71537
KNNW 60 0.31694 0.24141 0.22588 0.14028 0.33724 0.26395 0.73292
KNNW 79 0.31148 0.23534 0.22866 0.14337 0.34112 0.26827 0.73571
KNNW 100 0.31148 0.23534 0.23118 0.14617 0.33796 0.26476 0.73834
LOF 8 0.27322 0.19286 0.23583 0.15134 0.29213 0.21386 0.67654
LOF 9 0.27869 0.19893 0.23507 0.15048 0.29496 0.21701 0.67250
LOF 93 0.26230 0.18072 0.23091 0.14586 0.36505 0.29485 0.76355
LOF 100 0.27322 0.19286 0.23390 0.14919 0.36450 0.29423 0.76789
SimplifiedLOF 13 0.29508 0.21714 0.24179 0.15795 0.30599 0.22925 0.66790
SimplifiedLOF 84 0.25683 0.17466 0.20829 0.12074 0.33681 0.26347 0.72244
SimplifiedLOF 100 0.25137 0.16859 0.21352 0.12655 0.33574 0.26229 0.73006
LoOP 10 0.28962 0.21107 0.21681 0.13021 0.29428 0.21624 0.64975
LoOP 13 0.27322 0.19286 0.22751 0.14209 0.30675 0.23009 0.65777
LoOP 100 0.25683 0.17466 0.20994 0.12258 0.32934 0.25518 0.71726
LDOF 20 0.28962 0.21107 0.21992 0.13366 0.31068 0.23446 0.63109
LDOF 100 0.24044 0.15645 0.21064 0.12336 0.34409 0.27156 0.72898
ODIN 68 0.26958 0.18882 0.21673 0.13012 0.31776 0.24232 0.70604
ODIN 89 0.25683 0.17466 0.22957 0.14438 0.34380 0.27124 0.71901
ODIN 99 0.26093 0.17921 0.23468 0.15006 0.34138 0.26856 0.72458
ODIN 100 0.26230 0.18072 0.23440 0.14975 0.34106 0.26820 0.72505
FastABOD 5 0.25137 0.16859 0.22056 0.13438 0.31250 0.23648 0.72410
FastABOD 57 0.28415 0.20500 0.21641 0.12976 0.31785 0.24242 0.73569
FastABOD 79 0.29508 0.21714 0.21755 0.13103 0.31382 0.23794 0.73783
FastABOD 100 0.28962 0.21107 0.21842 0.13200 0.31657 0.24100 0.73862
KDEOS 68 0.20219 0.11397 0.17383 0.08247 0.25731 0.17519 0.66491
KDEOS 94 0.18579 0.09576 0.18266 0.09228 0.27115 0.19055 0.67877
KDEOS 100 0.18033 0.08969 0.18154 0.09104 0.27764 0.19777 0.68382
LDF 92 0.30055 0.22321 0.25205 0.16934 0.36464 0.29439 0.78646
LDF 99 0.30055 0.22321 0.25757 0.17547 0.37079 0.30121 0.79265
LDF 100 0.30055 0.22321 0.25823 0.17621 0.37024 0.30060 0.79348
INFLO 9 0.30055 0.22321 0.22711 0.14165 0.30425 0.22732 0.65492
INFLO 10 0.30601 0.22927 0.21992 0.13366 0.32719 0.25279 0.64628
INFLO 98 0.26230 0.18072 0.21622 0.12955 0.33533 0.26183 0.72237
COF 52 0.27322 0.19286 0.22919 0.14396 0.34545 0.27308 0.66653
COF 64 0.31694 0.24141 0.23941 0.15530 0.33947 0.26643 0.67679
COF 100 0.30601 0.22927 0.22695 0.14147 0.32080 0.24570 0.69193

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO