Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Cardiotocography (10% of outliers version#10)

Data set related to heart diseases. It describes 3 classes: normal, suspect, or pathological. Normal patients are treated as inliers and the remaining as outliers.

Download all data set variants used (8.8 MB). You can also access the original data. (CTG.xls)

Normalized, without duplicates

This version contains 21 attributes, 1831 objects, 183 outliers (9.99%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (71.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 7 0.33333 0.25930 0.25913 0.17686 0.34758 0.27513 0.63907
KNN 97 0.31694 0.24109 0.31936 0.24378 0.36029 0.28926 0.72974
KNN 99 0.31694 0.24109 0.32066 0.24522 0.35888 0.28769 0.73044
KNN 100 0.31694 0.24109 0.32078 0.24535 0.35821 0.28694 0.73018
KNNW 8 0.33333 0.25930 0.25835 0.17599 0.34054 0.26731 0.64276
KNNW 100 0.31148 0.23502 0.29421 0.21583 0.33247 0.25834 0.70399
LOF 7 0.27869 0.19859 0.21261 0.12517 0.28902 0.21007 0.64554
LOF 100 0.26776 0.18645 0.23166 0.14634 0.33166 0.25744 0.74965
SimplifiedLOF 11 0.28415 0.20466 0.23409 0.14904 0.30341 0.22605 0.65176
SimplifiedLOF 13 0.30055 0.22288 0.23088 0.14547 0.30812 0.23129 0.65832
SimplifiedLOF 23 0.27869 0.19859 0.21464 0.12743 0.33054 0.25621 0.66775
SimplifiedLOF 100 0.26230 0.18038 0.20599 0.11782 0.29425 0.21588 0.70786
LoOP 8 0.27869 0.19859 0.20389 0.11549 0.28866 0.20967 0.61959
LoOP 11 0.27322 0.19252 0.21113 0.12353 0.29804 0.22009 0.64637
LoOP 16 0.27322 0.19252 0.20264 0.11410 0.30735 0.23044 0.65388
LoOP 100 0.25683 0.17431 0.20136 0.11267 0.29075 0.21199 0.69732
LDOF 62 0.26230 0.18038 0.18464 0.09410 0.28438 0.20492 0.64392
LDOF 92 0.24590 0.16216 0.18940 0.09939 0.29646 0.21834 0.66447
LDOF 100 0.22951 0.14395 0.19295 0.10334 0.28942 0.21051 0.67077
ODIN 99 0.21919 0.13248 0.19428 0.10481 0.28085 0.20099 0.71397
ODIN 100 0.22404 0.13788 0.19498 0.10559 0.28052 0.20063 0.71458
FastABOD 48 0.26776 0.18645 0.19276 0.10312 0.27866 0.19856 0.67664
FastABOD 92 0.25683 0.17431 0.19607 0.10680 0.29193 0.21330 0.68404
FastABOD 100 0.24590 0.16216 0.19690 0.10772 0.29167 0.21301 0.68544
KDEOS 17 0.21858 0.13181 0.15346 0.05946 0.22458 0.13848 0.61216
KDEOS 19 0.20765 0.11966 0.15921 0.06585 0.23509 0.15016 0.61617
KDEOS 58 0.16393 0.07109 0.14498 0.05004 0.25111 0.16795 0.62472
KDEOS 100 0.17486 0.08324 0.15316 0.05912 0.24697 0.16335 0.64472
LDF 89 0.37705 0.30787 0.31651 0.24061 0.38746 0.31945 0.75953
LDF 100 0.37705 0.30787 0.34715 0.27466 0.40379 0.33758 0.76462
INFLO 97 0.26230 0.18038 0.21248 0.12503 0.30326 0.22589 0.72243
INFLO 98 0.26230 0.18038 0.21137 0.12380 0.30651 0.22951 0.71518
INFLO 99 0.27322 0.19252 0.21190 0.12439 0.30196 0.22445 0.71725
INFLO 100 0.27322 0.19252 0.21340 0.12605 0.30390 0.22660 0.72234
COF 21 0.25137 0.16824 0.20707 0.11903 0.29758 0.21958 0.65350
COF 25 0.27322 0.19252 0.20388 0.11547 0.29289 0.21437 0.64034
COF 61 0.25683 0.17431 0.24931 0.16595 0.26598 0.18448 0.64038
COF 89 0.20765 0.11966 0.23742 0.15274 0.26781 0.18651 0.66625

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 1838 objects, 183 outliers (9.96%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (72.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 82 0.37158 0.30210 0.36330 0.29289 0.38028 0.31176 0.73536
KNN 84 0.37158 0.30210 0.36407 0.29375 0.38208 0.31375 0.73595
KNN 96 0.37158 0.30210 0.36849 0.29866 0.37872 0.31003 0.73863
KNN 98 0.37158 0.30210 0.36901 0.29923 0.37953 0.31092 0.73825
KNNW 70 0.36612 0.29603 0.32588 0.25134 0.36866 0.29885 0.71411
KNNW 83 0.36612 0.29603 0.33151 0.25760 0.37326 0.30396 0.71788
KNNW 100 0.36612 0.29603 0.33800 0.26479 0.37119 0.30166 0.72231
LOF 79 0.30055 0.22321 0.24813 0.16499 0.32102 0.24595 0.74683
LOF 99 0.28962 0.21107 0.26831 0.18740 0.33694 0.26362 0.75857
LOF 100 0.28962 0.21107 0.26909 0.18827 0.33636 0.26298 0.75874
SimplifiedLOF 19 0.28962 0.21107 0.22189 0.13585 0.30464 0.22775 0.66873
SimplifiedLOF 96 0.27322 0.19286 0.23517 0.15060 0.31930 0.24403 0.72291
SimplifiedLOF 100 0.28415 0.20500 0.23775 0.15346 0.31634 0.24075 0.72447
LoOP 13 0.27869 0.19893 0.21177 0.12462 0.28412 0.20497 0.64490
LoOP 98 0.26230 0.18072 0.22819 0.14285 0.31660 0.24104 0.71564
LoOP 99 0.26230 0.18072 0.22890 0.14363 0.31721 0.24172 0.71534
LoOP 100 0.25683 0.17466 0.22955 0.14435 0.31721 0.24172 0.71547
LDOF 29 0.27869 0.19893 0.19491 0.10589 0.27869 0.19893 0.63241
LDOF 100 0.25137 0.16859 0.21338 0.12640 0.29903 0.22152 0.68530
ODIN 80 0.24590 0.16252 0.19743 0.10869 0.29841 0.22084 0.70857
ODIN 98 0.23731 0.15298 0.20565 0.11782 0.31579 0.24013 0.72018
ODIN 99 0.23975 0.15569 0.20625 0.11848 0.31161 0.23549 0.72053
ODIN 100 0.24180 0.15797 0.20615 0.11837 0.31307 0.23711 0.72151
FastABOD 26 0.26776 0.18679 0.20058 0.11218 0.27434 0.19410 0.68046
FastABOD 95 0.26230 0.18072 0.22009 0.13385 0.31186 0.23577 0.69550
FastABOD 100 0.26230 0.18072 0.22093 0.13478 0.31111 0.23494 0.69623
KDEOS 13 0.18033 0.08969 0.14505 0.05051 0.22320 0.13731 0.59896
KDEOS 22 0.13661 0.04114 0.15702 0.06381 0.22970 0.14452 0.61455
KDEOS 98 0.15301 0.05935 0.14568 0.05122 0.24371 0.16008 0.64550
KDEOS 100 0.14754 0.05328 0.14604 0.05161 0.24356 0.15992 0.64712
LDF 97 0.37705 0.30817 0.35156 0.27986 0.40122 0.33501 0.75268
LDF 100 0.37705 0.30817 0.35837 0.28743 0.40625 0.34060 0.75363
INFLO 91 0.27322 0.19286 0.24125 0.15736 0.32873 0.25450 0.74400
INFLO 95 0.26776 0.18679 0.24463 0.16111 0.33228 0.25845 0.74272
INFLO 99 0.26776 0.18679 0.24753 0.16432 0.33068 0.25667 0.74661
COF 45 0.32787 0.25355 0.27283 0.19242 0.33136 0.25743 0.66864
COF 72 0.32787 0.25355 0.29253 0.21430 0.34568 0.27333 0.69181
COF 92 0.28415 0.20500 0.30555 0.22876 0.30363 0.22663 0.69620
COF 93 0.28415 0.20500 0.30195 0.22477 0.29851 0.22094 0.69863

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 1831 objects, 183 outliers (9.99%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (72.0 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 92 0.32240 0.24716 0.23037 0.14491 0.32708 0.25235 0.73581
KNN 98 0.31148 0.23502 0.23203 0.14675 0.32990 0.25549 0.73824
KNN 100 0.31148 0.23502 0.23219 0.14693 0.33584 0.26209 0.73818
KNNW 70 0.28962 0.21073 0.21521 0.12806 0.29439 0.21604 0.72172
KNNW 89 0.28962 0.21073 0.21820 0.13139 0.30594 0.22886 0.72563
KNNW 100 0.28962 0.21073 0.21992 0.13330 0.30556 0.22844 0.72747
LOF 100 0.27869 0.19859 0.23316 0.14800 0.34981 0.27761 0.76408
SimplifiedLOF 13 0.26776 0.18645 0.22454 0.13844 0.28146 0.20167 0.67088
SimplifiedLOF 83 0.25137 0.16824 0.20820 0.12027 0.32907 0.25456 0.71140
SimplifiedLOF 100 0.24590 0.16216 0.21125 0.12367 0.32523 0.25031 0.71877
LoOP 11 0.24590 0.16216 0.21067 0.12302 0.26537 0.18380 0.65159
LoOP 14 0.23497 0.15002 0.21984 0.13321 0.27835 0.19822 0.66601
LoOP 67 0.22404 0.13788 0.19937 0.11047 0.32282 0.24762 0.69229
LoOP 99 0.24044 0.15609 0.20643 0.11831 0.31907 0.24345 0.70503
LDOF 34 0.27322 0.19252 0.18745 0.09723 0.27441 0.19383 0.63208
LDOF 100 0.24044 0.15609 0.20632 0.11818 0.31797 0.24223 0.70835
ODIN 94 0.26284 0.18098 0.22581 0.13984 0.33677 0.26312 0.71792
ODIN 98 0.25820 0.17582 0.22799 0.14227 0.34050 0.26727 0.72078
ODIN 100 0.25902 0.17673 0.22972 0.14419 0.34034 0.26709 0.72196
FastABOD 4 0.21311 0.12574 0.20008 0.11125 0.24975 0.16644 0.67426
FastABOD 61 0.19672 0.10752 0.19947 0.11057 0.27227 0.19146 0.69867
FastABOD 100 0.20765 0.11966 0.20188 0.11325 0.27009 0.18903 0.70393
KDEOS 25 0.19126 0.10145 0.14426 0.04924 0.24440 0.16049 0.63355
KDEOS 90 0.15847 0.06502 0.17243 0.08053 0.26989 0.18882 0.66750
KDEOS 97 0.16940 0.07717 0.17045 0.07833 0.27962 0.19962 0.67187
KDEOS 100 0.16940 0.07717 0.17117 0.07913 0.27848 0.19836 0.67460
LDF 9 0.29508 0.21681 0.27530 0.19483 0.32195 0.24666 0.71263
LDF 96 0.31694 0.24109 0.25412 0.17130 0.36364 0.29297 0.78586
LDF 98 0.31148 0.23502 0.25720 0.17472 0.36969 0.29969 0.78864
LDF 100 0.31148 0.23502 0.25761 0.17518 0.36773 0.29752 0.78949
INFLO 96 0.26230 0.18038 0.21481 0.12762 0.32859 0.25404 0.71904
INFLO 99 0.27322 0.19252 0.21596 0.12890 0.33171 0.25750 0.71786
INFLO 100 0.27869 0.19859 0.21528 0.12815 0.32906 0.25456 0.71493
COF 17 0.22404 0.13788 0.18766 0.09745 0.27642 0.19607 0.67252
COF 53 0.25683 0.17431 0.20285 0.11433 0.31111 0.23461 0.65186
COF 63 0.26776 0.18645 0.20757 0.11957 0.28958 0.21069 0.65152
COF 77 0.28415 0.20466 0.19189 0.10215 0.29084 0.21210 0.64413

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 1838 objects, 183 outliers (9.96%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (72.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 53 0.35519 0.28389 0.24442 0.16088 0.35938 0.28854 0.74067
KNN 86 0.33880 0.26569 0.24539 0.16195 0.36181 0.29124 0.74423
KNN 94 0.33880 0.26569 0.24648 0.16316 0.35961 0.28879 0.74538
KNN 100 0.33880 0.26569 0.24635 0.16301 0.35509 0.28378 0.74594
KNNW 58 0.32787 0.25355 0.23746 0.15314 0.35756 0.28653 0.73819
KNNW 89 0.34426 0.27175 0.24092 0.15699 0.35267 0.28109 0.74072
KNNW 100 0.33333 0.25962 0.24187 0.15805 0.35449 0.28311 0.74152
LOF 9 0.29508 0.21714 0.23704 0.15267 0.29680 0.21905 0.69948
LOF 93 0.28962 0.21107 0.25111 0.16830 0.39364 0.32659 0.77998
LOF 100 0.29508 0.21714 0.25328 0.17071 0.38911 0.32156 0.78287
SimplifiedLOF 16 0.29508 0.21714 0.22824 0.14290 0.29845 0.22088 0.67950
SimplifiedLOF 99 0.26230 0.18072 0.23641 0.15198 0.36717 0.29720 0.74814
SimplifiedLOF 100 0.26230 0.18072 0.23659 0.15217 0.36638 0.29632 0.74818
LoOP 20 0.26776 0.18679 0.20996 0.12260 0.28391 0.20473 0.67949
LoOP 81 0.25137 0.16859 0.23080 0.14575 0.36364 0.29327 0.73585
LoOP 90 0.26230 0.18072 0.23420 0.14952 0.35935 0.28851 0.73773
LoOP 99 0.26230 0.18072 0.23571 0.15120 0.36090 0.29023 0.73758
LDOF 31 0.25683 0.17466 0.20416 0.11616 0.28783 0.20909 0.65364
LDOF 91 0.24590 0.16252 0.23037 0.14527 0.35630 0.28513 0.72674
LDOF 99 0.25137 0.16859 0.23397 0.14927 0.35473 0.28338 0.73003
ODIN 81 0.30999 0.23369 0.25817 0.17614 0.37158 0.30210 0.73850
ODIN 90 0.30540 0.22860 0.26775 0.18678 0.38532 0.31735 0.74479
ODIN 93 0.30367 0.22667 0.26856 0.18769 0.38148 0.31309 0.74707
ODIN 100 0.29430 0.21627 0.26761 0.18663 0.38408 0.31598 0.75028
FastABOD 70 0.26230 0.18072 0.20698 0.11930 0.30411 0.22717 0.70533
FastABOD 96 0.26230 0.18072 0.20926 0.12182 0.30496 0.22811 0.70770
FastABOD 99 0.26230 0.18072 0.20899 0.12152 0.30634 0.22964 0.70789
FastABOD 100 0.26230 0.18072 0.20896 0.12149 0.30627 0.22956 0.70796
KDEOS 25 0.18579 0.09576 0.14616 0.05174 0.23545 0.15091 0.63462
KDEOS 100 0.17486 0.08362 0.17065 0.07894 0.29134 0.21298 0.69614
LDF 7 0.34973 0.27782 0.28317 0.20391 0.36745 0.29751 0.72895
LDF 9 0.29508 0.21714 0.28659 0.20770 0.34968 0.27777 0.74411
LDF 39 0.30055 0.22321 0.22693 0.14145 0.37308 0.30376 0.72947
LDF 100 0.32240 0.24748 0.25954 0.17767 0.36283 0.29238 0.78765
INFLO 65 0.25683 0.17466 0.22981 0.14465 0.34915 0.27719 0.74463
INFLO 98 0.29508 0.21714 0.23487 0.15027 0.35730 0.28623 0.74089
INFLO 100 0.29508 0.21714 0.23548 0.15095 0.36123 0.29060 0.73732
COF 47 0.27322 0.19286 0.23046 0.14537 0.31810 0.24271 0.69700
COF 57 0.25137 0.16859 0.23324 0.14846 0.30564 0.22886 0.70458
COF 98 0.25683 0.17466 0.21762 0.13111 0.32083 0.24574 0.72837
COF 99 0.26230 0.18072 0.21842 0.13199 0.32773 0.25340 0.72822

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO