Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Cardiotocography (5% of outliers version#01)

Data set related to heart diseases. It describes 3 classes: normal, suspect, or pathological. Normal patients are treated as inliers and the remaining as outliers.

Download all data set variants used (8.8 MB). You can also access the original data. (CTG.xls)

Normalized, without duplicates

This version contains 21 attributes, 1734 objects, 86 outliers (4.96%)

Download raw algorithm results (15.0 MB) Download raw algorithm evaluation table (65.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.34884 0.31486 0.25820 0.21949 0.35443 0.32074 0.70989
KNN 3 0.34884 0.31486 0.27038 0.23230 0.35583 0.32221 0.70793
KNN 95 0.33721 0.30262 0.29398 0.25714 0.33721 0.30262 0.74327
KNN 99 0.33721 0.30262 0.29368 0.25682 0.33918 0.30470 0.74352
KNNW 4 0.36047 0.32709 0.27532 0.23750 0.38158 0.34931 0.71698
KNNW 5 0.36047 0.32709 0.27907 0.24144 0.39189 0.36016 0.71577
KNNW 8 0.34884 0.31486 0.28442 0.24707 0.37662 0.34409 0.71578
KNNW 100 0.31395 0.27815 0.28310 0.24569 0.32308 0.28775 0.73463
LOF 6 0.25581 0.21698 0.18490 0.14236 0.28194 0.24447 0.71268
LOF 10 0.19767 0.15581 0.15830 0.11437 0.29565 0.25890 0.74820
LOF 100 0.25581 0.21698 0.21460 0.17361 0.26190 0.22339 0.78233
SimplifiedLOF 7 0.31395 0.27815 0.20163 0.15997 0.31579 0.28008 0.68134
SimplifiedLOF 9 0.26744 0.22921 0.21820 0.17740 0.31795 0.28236 0.70298
SimplifiedLOF 12 0.31395 0.27815 0.20279 0.16119 0.34225 0.30792 0.72415
SimplifiedLOF 100 0.23256 0.19251 0.20029 0.15856 0.26364 0.22521 0.76604
LoOP 7 0.30233 0.26592 0.17897 0.13612 0.32099 0.28555 0.67858
LoOP 9 0.30233 0.26592 0.18921 0.14690 0.30857 0.27249 0.70164
LoOP 12 0.29070 0.25368 0.17874 0.13589 0.32579 0.29061 0.72390
LoOP 100 0.23256 0.19251 0.18638 0.14392 0.26667 0.22840 0.75726
LDOF 11 0.29070 0.25368 0.15444 0.11032 0.30189 0.26546 0.66324
LDOF 95 0.24419 0.20474 0.17155 0.12832 0.27358 0.23568 0.72614
LDOF 100 0.24419 0.20474 0.17103 0.12777 0.27751 0.23981 0.72852
ODIN 91 0.21395 0.17293 0.14852 0.10408 0.23188 0.19180 0.74127
ODIN 99 0.20233 0.16070 0.15306 0.10886 0.24521 0.20582 0.74516
ODIN 100 0.20349 0.16192 0.15357 0.10940 0.24806 0.20882 0.74509
FastABOD 17 0.31395 0.27815 0.22057 0.17989 0.32227 0.28691 0.75226
FastABOD 67 0.33721 0.30262 0.21646 0.17557 0.34356 0.30930 0.75767
FastABOD 87 0.33721 0.30262 0.21871 0.17794 0.35152 0.31767 0.75928
FastABOD 92 0.33721 0.30262 0.21877 0.17800 0.35366 0.31993 0.75903
KDEOS 15 0.12791 0.08240 0.12774 0.08223 0.20690 0.16551 0.66415
KDEOS 20 0.15116 0.10687 0.13916 0.09424 0.17470 0.13163 0.65623
KDEOS 23 0.17442 0.13134 0.13704 0.09201 0.17857 0.13571 0.65649
KDEOS 100 0.13953 0.09463 0.09676 0.04963 0.17252 0.12934 0.70236
LDF 6 0.32558 0.29039 0.29957 0.26302 0.32584 0.29066 0.71205
LDF 7 0.30814 0.27204 0.31326 0.27742 0.32402 0.28875 0.73557
LDF 8 0.31395 0.27815 0.28025 0.24269 0.33987 0.30542 0.74406
LDF 100 0.30233 0.26592 0.27404 0.23615 0.32394 0.28866 0.77044
INFLO 4 0.26744 0.22921 0.13984 0.09495 0.27429 0.23641 0.68158
INFLO 8 0.22093 0.18027 0.17306 0.12991 0.31128 0.27534 0.75448
INFLO 100 0.23256 0.19251 0.19299 0.15088 0.29384 0.25699 0.77070
COF 18 0.32558 0.29039 0.22919 0.18897 0.35052 0.31662 0.73052
COF 31 0.26744 0.22921 0.27112 0.23309 0.29310 0.25621 0.71217
COF 50 0.25581 0.21698 0.24926 0.21008 0.25871 0.22002 0.73290

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 1742 objects, 87 outliers (4.99%)

Download raw algorithm results (15.1 MB) Download raw algorithm evaluation table (67.5 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 91 0.36782 0.33458 0.32571 0.29027 0.36810 0.33488 0.75874
KNN 98 0.36782 0.33458 0.32826 0.29295 0.37427 0.34138 0.76008
KNN 100 0.36782 0.33458 0.32853 0.29323 0.38095 0.34841 0.75996
KNNW 15 0.31034 0.27409 0.24800 0.20847 0.33962 0.30491 0.72564
KNNW 95 0.33333 0.29829 0.29563 0.25860 0.33540 0.30047 0.74668
KNNW 100 0.33333 0.29829 0.29640 0.25941 0.33750 0.30267 0.74736
LOF 97 0.29885 0.26199 0.23837 0.19833 0.30769 0.27130 0.78696
LOF 98 0.29885 0.26199 0.23968 0.19971 0.31088 0.27466 0.78684
LOF 100 0.29885 0.26199 0.24157 0.20170 0.30612 0.26965 0.78773
SimplifiedLOF 12 0.25287 0.21360 0.19532 0.15302 0.28729 0.24983 0.73435
SimplifiedLOF 95 0.27586 0.23780 0.20562 0.16386 0.28169 0.24393 0.77269
SimplifiedLOF 100 0.27586 0.23780 0.21032 0.16881 0.28685 0.24936 0.77373
LoOP 94 0.25287 0.21360 0.18518 0.14235 0.28829 0.25088 0.75902
LoOP 100 0.24138 0.20150 0.18904 0.14641 0.28085 0.24305 0.76027
LDOF 15 0.24138 0.20150 0.16592 0.12208 0.25000 0.21057 0.69218
LDOF 97 0.21839 0.17730 0.16965 0.12600 0.28571 0.24817 0.73442
LDOF 98 0.21839 0.17730 0.17045 0.12685 0.28440 0.24679 0.73498
LDOF 100 0.21839 0.17730 0.17068 0.12709 0.28169 0.24393 0.73488
ODIN 90 0.19540 0.15311 0.14004 0.09483 0.23529 0.19510 0.75516
ODIN 100 0.18902 0.14638 0.14390 0.09890 0.25281 0.21353 0.76370
FastABOD 5 0.16092 0.11681 0.17052 0.12691 0.25672 0.21764 0.76704
FastABOD 19 0.21839 0.17730 0.17420 0.13079 0.28094 0.24314 0.75848
FastABOD 52 0.24138 0.20150 0.17494 0.13157 0.27517 0.23706 0.76091
FastABOD 99 0.22989 0.18940 0.18062 0.13754 0.27612 0.23807 0.76475
KDEOS 5 0.14943 0.10471 0.09218 0.04445 0.16744 0.12368 0.58379
KDEOS 7 0.14943 0.10471 0.10566 0.05865 0.17600 0.13268 0.62382
KDEOS 23 0.12644 0.08052 0.10599 0.05900 0.14493 0.09998 0.66266
KDEOS 100 0.11494 0.06842 0.08661 0.03859 0.16696 0.12317 0.69209
LDF 77 0.37931 0.34668 0.30079 0.26404 0.39286 0.36094 0.77222
LDF 90 0.37931 0.34668 0.32044 0.28471 0.40994 0.37892 0.76996
LDF 99 0.39080 0.35878 0.32798 0.29266 0.40000 0.36846 0.76769
INFLO 74 0.22989 0.18940 0.17836 0.13517 0.27586 0.23780 0.77940
INFLO 97 0.27586 0.23780 0.20154 0.15957 0.28947 0.25212 0.77668
INFLO 98 0.27586 0.23780 0.20243 0.16050 0.29204 0.25482 0.77594
INFLO 100 0.26437 0.22570 0.20341 0.16153 0.28718 0.24971 0.77550
COF 12 0.20690 0.16520 0.19780 0.15563 0.25075 0.21136 0.75195
COF 38 0.32184 0.28619 0.22855 0.18800 0.32370 0.28815 0.71039
COF 79 0.32184 0.28619 0.25253 0.21324 0.33939 0.30467 0.72571
COF 96 0.27586 0.23780 0.27079 0.23246 0.30769 0.27130 0.71154

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 1734 objects, 86 outliers (4.96%)

Download raw algorithm results (15.0 MB) Download raw algorithm evaluation table (65.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.25581 0.21698 0.20335 0.16177 0.28877 0.25165 0.75838
KNN 24 0.22093 0.18027 0.14789 0.10342 0.29032 0.25329 0.72791
KNNW 2 0.26744 0.22921 0.21386 0.17284 0.29167 0.25470 0.77296
LOF 11 0.24419 0.20474 0.15615 0.11211 0.25455 0.21564 0.71393
LOF 12 0.19767 0.15581 0.16080 0.11701 0.21993 0.17922 0.71631
LOF 99 0.22093 0.18027 0.15567 0.11161 0.26000 0.22138 0.77471
LOF 100 0.22093 0.18027 0.15584 0.11178 0.25914 0.22047 0.77511
SimplifiedLOF 15 0.25581 0.21698 0.17978 0.13698 0.26829 0.23011 0.72525
SimplifiedLOF 16 0.26744 0.22921 0.17269 0.12952 0.26744 0.22921 0.72983
SimplifiedLOF 36 0.20930 0.16804 0.15565 0.11159 0.27143 0.23341 0.74080
SimplifiedLOF 44 0.23256 0.19251 0.15899 0.11510 0.26667 0.22840 0.74453
LoOP 16 0.18605 0.14357 0.17532 0.13229 0.23377 0.19378 0.71146
LoOP 27 0.24419 0.20474 0.15775 0.11380 0.25131 0.21224 0.70950
LoOP 90 0.20930 0.16804 0.15273 0.10852 0.26131 0.22276 0.72487
LoOP 92 0.20930 0.16804 0.15371 0.10954 0.26131 0.22276 0.72655
LDOF 17 0.24419 0.20474 0.16208 0.11836 0.27928 0.24167 0.63831
LDOF 18 0.22093 0.18027 0.16447 0.12087 0.25893 0.22026 0.64638
LDOF 98 0.19767 0.15581 0.15726 0.11328 0.25926 0.22060 0.72726
ODIN 62 0.17297 0.12981 0.18069 0.13793 0.24645 0.20712 0.71548
ODIN 97 0.22093 0.18027 0.17660 0.13363 0.25962 0.22098 0.73357
ODIN 99 0.20930 0.16804 0.17598 0.13298 0.25688 0.21810 0.73488
FastABOD 5 0.25581 0.21698 0.20337 0.16180 0.27338 0.23546 0.77140
FastABOD 14 0.27907 0.24145 0.18752 0.14512 0.29046 0.25343 0.77420
FastABOD 85 0.24419 0.20474 0.17776 0.13485 0.30846 0.27237 0.77770
FastABOD 93 0.24419 0.20474 0.17170 0.12847 0.30846 0.27237 0.77813
KDEOS 24 0.13953 0.09463 0.08742 0.03980 0.14765 0.10317 0.67216
KDEOS 89 0.12791 0.08240 0.12166 0.07583 0.22126 0.18062 0.73090
KDEOS 100 0.12791 0.08240 0.12312 0.07736 0.21680 0.17593 0.72773
LDF 9 0.29070 0.25368 0.22077 0.18010 0.31522 0.27948 0.76727
LDF 100 0.24419 0.20474 0.17342 0.13028 0.28169 0.24421 0.80269
INFLO 6 0.24419 0.20474 0.16521 0.12164 0.26374 0.22531 0.63130
INFLO 12 0.23256 0.19251 0.17535 0.13232 0.24000 0.20034 0.69245
INFLO 33 0.18605 0.14357 0.15673 0.11272 0.24545 0.20608 0.72792
INFLO 98 0.23256 0.19251 0.15104 0.10673 0.27979 0.24221 0.70013
COF 24 0.20930 0.16804 0.17318 0.13003 0.23776 0.19799 0.75929
COF 26 0.23256 0.19251 0.17622 0.13323 0.25225 0.21323 0.74921
COF 48 0.20930 0.16804 0.19815 0.15630 0.26537 0.22704 0.73176
COF 51 0.22093 0.18027 0.18930 0.14700 0.27300 0.23506 0.72678

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 1742 objects, 87 outliers (4.99%)

Download raw algorithm results (15.0 MB) Download raw algorithm evaluation table (66.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.19540 0.15311 0.18877 0.14613 0.23280 0.19247 0.74163
KNN 4 0.25287 0.21360 0.17305 0.12958 0.26190 0.22310 0.72909
KNN 68 0.22989 0.18940 0.15680 0.11248 0.31193 0.27576 0.75295
KNN 100 0.25287 0.21360 0.15986 0.11570 0.29524 0.25819 0.75917
KNNW 2 0.19540 0.15311 0.21097 0.16949 0.22517 0.18443 0.74844
KNNW 3 0.21839 0.17730 0.18474 0.14189 0.22973 0.18924 0.75993
KNNW 4 0.24138 0.20150 0.18578 0.14298 0.24138 0.20150 0.75726
KNNW 93 0.20690 0.16520 0.15401 0.10954 0.28829 0.25088 0.75159
LOF 7 0.28736 0.24989 0.20999 0.16846 0.30137 0.26464 0.75967
LOF 9 0.26437 0.22570 0.22793 0.18735 0.31655 0.28062 0.75215
LOF 11 0.26437 0.22570 0.23372 0.19344 0.31250 0.27636 0.75957
LOF 100 0.24138 0.20150 0.17008 0.12645 0.28947 0.25212 0.78583
SimplifiedLOF 12 0.25287 0.21360 0.23912 0.19913 0.28070 0.24289 0.76980
SimplifiedLOF 18 0.22989 0.18940 0.22903 0.18851 0.30037 0.26359 0.78728
SimplifiedLOF 27 0.28736 0.24989 0.19550 0.15320 0.30097 0.26422 0.77332
SimplifiedLOF 73 0.21839 0.17730 0.16788 0.12414 0.31373 0.27765 0.75972
LoOP 14 0.24138 0.20150 0.22872 0.18817 0.26984 0.23146 0.75422
LoOP 18 0.21839 0.17730 0.21503 0.17376 0.27368 0.23550 0.75923
LoOP 71 0.25287 0.21360 0.17241 0.12891 0.30189 0.26519 0.75027
LoOP 72 0.25287 0.21360 0.17237 0.12887 0.30651 0.27006 0.75049
LDOF 17 0.26437 0.22570 0.22724 0.18662 0.28000 0.24215 0.72060
LDOF 19 0.29885 0.26199 0.21655 0.17536 0.31325 0.27715 0.72074
LDOF 97 0.22989 0.18940 0.17677 0.13349 0.27972 0.24186 0.75700
ODIN 55 0.21317 0.17180 0.18890 0.14626 0.27650 0.23846 0.74366
ODIN 99 0.19540 0.15311 0.19837 0.15623 0.30357 0.26696 0.75988
ODIN 100 0.19704 0.15483 0.19610 0.15384 0.30357 0.26696 0.76031
FastABOD 4 0.21839 0.17730 0.16227 0.11823 0.22093 0.17998 0.74171
FastABOD 13 0.20690 0.16520 0.19176 0.14927 0.22134 0.18041 0.75428
FastABOD 93 0.18391 0.14101 0.18153 0.13850 0.25397 0.21475 0.75932
FastABOD 100 0.19540 0.15311 0.18169 0.13867 0.25191 0.21258 0.76004
KDEOS 15 0.16092 0.11681 0.10284 0.05567 0.19091 0.14838 0.70455
KDEOS 88 0.16092 0.11681 0.14790 0.10311 0.21397 0.17265 0.73740
KDEOS 98 0.16092 0.11681 0.14356 0.09854 0.22857 0.18802 0.74194
KDEOS 99 0.14943 0.10471 0.14360 0.09858 0.22115 0.18021 0.74261
LDF 9 0.31034 0.27409 0.24147 0.20160 0.32051 0.28479 0.76298
LDF 100 0.28736 0.24989 0.18254 0.13957 0.28889 0.25151 0.80542
INFLO 7 0.28736 0.24989 0.21253 0.17114 0.30464 0.26808 0.71109
INFLO 11 0.25287 0.21360 0.23525 0.19505 0.28571 0.24817 0.72532
INFLO 35 0.21839 0.17730 0.18679 0.14404 0.27803 0.24007 0.77465
INFLO 62 0.22989 0.18940 0.17061 0.12701 0.30605 0.26957 0.73613
COF 17 0.25287 0.21360 0.19075 0.14821 0.26866 0.23021 0.77064
COF 18 0.22989 0.18940 0.19341 0.15101 0.26733 0.22881 0.76922
COF 20 0.27586 0.23780 0.17637 0.13307 0.30508 0.26855 0.75403
COF 21 0.29885 0.26199 0.17005 0.12642 0.30120 0.26447 0.74726

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO