Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Cardiotocography (5% of outliers version#06)

Data set related to heart diseases. It describes 3 classes: normal, suspect, or pathological. Normal patients are treated as inliers and the remaining as outliers.

Download all data set variants used (8.8 MB). You can also access the original data. (CTG.xls)

Normalized, without duplicates

This version contains 21 attributes, 1734 objects, 86 outliers (4.96%)

Download raw algorithm results (15.0 MB) Download raw algorithm evaluation table (65.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 96 0.31395 0.27815 0.32443 0.28917 0.34375 0.30950 0.81115
KNN 98 0.31395 0.27815 0.32454 0.28929 0.34555 0.31140 0.81110
KNN 99 0.31395 0.27815 0.32451 0.28926 0.34921 0.31525 0.81103
KNN 100 0.32558 0.29039 0.32417 0.28890 0.34555 0.31140 0.81100
KNNW 3 0.32558 0.29039 0.24965 0.21049 0.34146 0.30710 0.69612
KNNW 100 0.32558 0.29039 0.30565 0.26941 0.32558 0.29039 0.79753
LOF 5 0.29070 0.25368 0.19040 0.14815 0.30120 0.26474 0.69149
LOF 100 0.27907 0.24145 0.25987 0.22125 0.28743 0.25024 0.83946
SimplifiedLOF 11 0.32558 0.29039 0.19936 0.15758 0.33136 0.29647 0.70084
SimplifiedLOF 98 0.27907 0.24145 0.23870 0.19897 0.28070 0.24317 0.79679
SimplifiedLOF 100 0.26744 0.22921 0.23757 0.19778 0.27451 0.23665 0.79749
LoOP 9 0.30233 0.26592 0.18672 0.14428 0.30409 0.26778 0.70921
LoOP 12 0.30233 0.26592 0.18317 0.14054 0.32298 0.28765 0.70710
LoOP 99 0.25581 0.21698 0.22284 0.18228 0.27468 0.23683 0.78590
LoOP 100 0.25581 0.21698 0.22179 0.18118 0.27350 0.23559 0.78610
LDOF 14 0.29070 0.25368 0.17537 0.13234 0.31034 0.27436 0.67613
LDOF 95 0.24419 0.20474 0.20479 0.16329 0.26230 0.22380 0.74039
LDOF 100 0.24419 0.20474 0.20412 0.16259 0.26087 0.22230 0.74321
ODIN 47 0.22521 0.18478 0.15080 0.10648 0.23030 0.19014 0.74220
ODIN 96 0.19535 0.15336 0.17185 0.12863 0.25064 0.21153 0.78941
ODIN 100 0.20284 0.16124 0.17946 0.13664 0.24571 0.20635 0.79133
FastABOD 5 0.25581 0.21698 0.18635 0.14389 0.28169 0.24421 0.69841
FastABOD 8 0.23256 0.19251 0.19229 0.15014 0.25954 0.22090 0.70227
FastABOD 14 0.26744 0.22921 0.18041 0.13764 0.27273 0.23477 0.70537
FastABOD 100 0.23256 0.19251 0.18730 0.14488 0.26050 0.22191 0.73397
KDEOS 11 0.13953 0.09463 0.08804 0.04045 0.15238 0.10815 0.63103
KDEOS 24 0.10465 0.05793 0.11096 0.06456 0.15417 0.11003 0.63776
KDEOS 99 0.11628 0.07016 0.09081 0.04336 0.17749 0.13457 0.68866
KDEOS 100 0.10465 0.05793 0.09034 0.04287 0.17808 0.13519 0.68851
LDF 76 0.36047 0.32709 0.32280 0.28746 0.38674 0.35474 0.83750
LDF 88 0.39535 0.36380 0.33697 0.30237 0.40884 0.37799 0.83470
LDF 93 0.39535 0.36380 0.34757 0.31353 0.41530 0.38479 0.83636
LDF 100 0.38372 0.35156 0.35228 0.31847 0.40244 0.37126 0.83599
INFLO 7 0.27907 0.24145 0.17613 0.13313 0.28402 0.24666 0.72381
INFLO 43 0.22093 0.18027 0.19117 0.14896 0.29703 0.26035 0.72776
INFLO 98 0.25581 0.21698 0.22868 0.18843 0.28374 0.24636 0.79516
INFLO 100 0.25581 0.21698 0.23145 0.19134 0.29119 0.25420 0.79499
COF 16 0.30233 0.26592 0.24149 0.20191 0.32298 0.28765 0.67886
COF 21 0.30233 0.26592 0.24188 0.20232 0.32911 0.29410 0.65847
COF 83 0.22093 0.18027 0.26495 0.22659 0.27907 0.24145 0.78477
COF 97 0.22093 0.18027 0.27866 0.24102 0.27119 0.23315 0.77798

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 1742 objects, 87 outliers (4.99%)

Download raw algorithm results (15.1 MB) Download raw algorithm evaluation table (65.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.25287 0.21360 0.18547 0.14265 0.26190 0.22310 0.67240
KNN 87 0.25287 0.21360 0.23523 0.19503 0.27907 0.24117 0.72460
KNN 98 0.25287 0.21360 0.23680 0.19668 0.27692 0.23891 0.72584
KNN 100 0.25287 0.21360 0.23717 0.19707 0.27692 0.23891 0.72549
KNNW 5 0.25287 0.21360 0.18498 0.14214 0.25882 0.21986 0.66607
KNNW 7 0.24138 0.20150 0.19219 0.14973 0.26042 0.22154 0.66452
KNNW 100 0.22989 0.18940 0.21872 0.17765 0.25316 0.21390 0.71407
LOF 8 0.26437 0.22570 0.15923 0.11504 0.27429 0.23614 0.67110
LOF 100 0.18391 0.14101 0.18486 0.14201 0.24138 0.20150 0.75535
SimplifiedLOF 12 0.28736 0.24989 0.19144 0.14894 0.29670 0.25973 0.69449
SimplifiedLOF 16 0.24138 0.20150 0.19497 0.15265 0.26977 0.23138 0.69239
SimplifiedLOF 100 0.22989 0.18940 0.17322 0.12976 0.25837 0.21939 0.73769
LoOP 21 0.20690 0.16520 0.16640 0.12258 0.24409 0.20436 0.67935
LoOP 43 0.24138 0.20150 0.16174 0.11767 0.25197 0.21265 0.68865
LoOP 66 0.22989 0.18940 0.15846 0.11422 0.25989 0.22098 0.70681
LoOP 100 0.21839 0.17730 0.16603 0.12219 0.25962 0.22069 0.72258
LDOF 41 0.22989 0.18940 0.16394 0.11999 0.24242 0.20260 0.64983
LDOF 71 0.25287 0.21360 0.15465 0.11021 0.25287 0.21360 0.68362
LDOF 78 0.25287 0.21360 0.15460 0.11016 0.25731 0.21827 0.68649
LDOF 100 0.19540 0.15311 0.15780 0.11352 0.24121 0.20132 0.69960
ODIN 92 0.20434 0.16252 0.13642 0.09103 0.21795 0.17684 0.72158
ODIN 97 0.20259 0.16067 0.13628 0.09088 0.22517 0.18443 0.72482
ODIN 100 0.20690 0.16520 0.13615 0.09074 0.21795 0.17684 0.72692
FastABOD 3 0.19540 0.15311 0.11880 0.07248 0.22326 0.18242 0.69888
FastABOD 10 0.20690 0.16520 0.13938 0.09414 0.21429 0.17298 0.70508
FastABOD 100 0.18391 0.14101 0.14491 0.09996 0.20870 0.16710 0.71230
KDEOS 41 0.12644 0.08052 0.10015 0.05285 0.18537 0.14254 0.65348
KDEOS 46 0.16092 0.11681 0.09634 0.04884 0.18879 0.14615 0.65436
KDEOS 70 0.12644 0.08052 0.09564 0.04810 0.19481 0.15248 0.67179
KDEOS 100 0.16092 0.11681 0.09951 0.05218 0.19178 0.14929 0.68483
LDF 6 0.28736 0.24989 0.20905 0.16748 0.31447 0.27843 0.63912
LDF 100 0.28736 0.24989 0.21316 0.17180 0.29762 0.26070 0.74292
INFLO 45 0.24138 0.20150 0.15709 0.11278 0.24138 0.20150 0.69039
INFLO 81 0.21839 0.17730 0.16340 0.11943 0.25126 0.21190 0.71803
INFLO 99 0.24138 0.20150 0.17308 0.12961 0.24742 0.20786 0.74112
INFLO 100 0.22989 0.18940 0.17258 0.12909 0.24870 0.20921 0.74210
COF 17 0.31034 0.27409 0.21186 0.17043 0.31646 0.28052 0.65110
COF 21 0.27586 0.23780 0.20693 0.16524 0.33333 0.29829 0.64410
COF 61 0.20690 0.16520 0.19211 0.14964 0.22857 0.18802 0.70682
COF 94 0.24138 0.20150 0.23744 0.19736 0.30159 0.26487 0.67647

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 1734 objects, 86 outliers (4.96%)

Download raw algorithm results (15.0 MB) Download raw algorithm evaluation table (65.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 3 0.25581 0.21698 0.15212 0.10787 0.27211 0.23412 0.73879
KNN 88 0.20930 0.16804 0.15783 0.11388 0.28708 0.24988 0.80288
KNN 95 0.20930 0.16804 0.15888 0.11498 0.28571 0.24844 0.80513
KNN 100 0.19767 0.15581 0.15886 0.11496 0.28326 0.24586 0.80624
KNNW 2 0.18605 0.14357 0.16095 0.11716 0.23482 0.19489 0.73525
KNNW 12 0.25581 0.21698 0.14254 0.09780 0.26190 0.22339 0.75770
KNNW 100 0.19767 0.15581 0.15085 0.10654 0.27273 0.23477 0.79458
LOF 8 0.27907 0.24145 0.20776 0.16641 0.28571 0.24844 0.69790
LOF 9 0.27907 0.24145 0.20253 0.16092 0.29545 0.25869 0.69607
LOF 11 0.25581 0.21698 0.20825 0.16693 0.26506 0.22671 0.70964
LOF 100 0.19767 0.15581 0.16425 0.12063 0.28060 0.24306 0.82334
SimplifiedLOF 12 0.25581 0.21698 0.18796 0.14558 0.26131 0.22276 0.69631
SimplifiedLOF 15 0.24419 0.20474 0.18958 0.14729 0.26582 0.22751 0.70091
SimplifiedLOF 90 0.18605 0.14357 0.14662 0.10208 0.26712 0.22888 0.76389
SimplifiedLOF 100 0.19767 0.15581 0.14768 0.10320 0.25939 0.22074 0.76870
LoOP 9 0.23256 0.19251 0.16973 0.12641 0.24454 0.20512 0.68258
LoOP 13 0.23256 0.19251 0.19180 0.14963 0.24627 0.20694 0.69578
LoOP 99 0.18605 0.14357 0.15149 0.10721 0.26459 0.22621 0.75079
LoOP 100 0.18605 0.14357 0.15177 0.10751 0.26154 0.22300 0.75327
LDOF 17 0.23256 0.19251 0.16808 0.12466 0.24242 0.20289 0.64754
LDOF 18 0.25581 0.21698 0.16535 0.12180 0.26667 0.22840 0.65144
LDOF 19 0.25581 0.21698 0.16488 0.12130 0.27329 0.23537 0.65338
LDOF 100 0.17442 0.13134 0.15612 0.11208 0.27083 0.23278 0.76366
ODIN 88 0.23450 0.19455 0.20991 0.16868 0.26627 0.22798 0.76833
ODIN 93 0.24419 0.20474 0.20828 0.16696 0.26513 0.22678 0.77055
ODIN 95 0.24419 0.20474 0.20596 0.16452 0.27077 0.23271 0.77222
ODIN 100 0.24225 0.20271 0.20710 0.16573 0.26946 0.23134 0.77497
FastABOD 7 0.20930 0.16804 0.14472 0.10009 0.24762 0.20836 0.71831
FastABOD 11 0.20930 0.16804 0.14550 0.10090 0.24413 0.20469 0.72236
FastABOD 13 0.23256 0.19251 0.14248 0.09773 0.23469 0.19476 0.72099
FastABOD 100 0.18605 0.14357 0.13033 0.08495 0.23529 0.19539 0.73332
KDEOS 91 0.12791 0.08240 0.11160 0.06524 0.19865 0.15683 0.72323
KDEOS 94 0.10465 0.05793 0.11199 0.06564 0.20321 0.16163 0.72597
KDEOS 97 0.11628 0.07016 0.11067 0.06426 0.21170 0.17056 0.72800
KDEOS 100 0.11628 0.07016 0.11132 0.06494 0.21053 0.16933 0.72924
LDF 8 0.30233 0.26592 0.23366 0.19367 0.31579 0.28008 0.72205
LDF 100 0.26744 0.22921 0.19347 0.15139 0.32283 0.28750 0.85227
INFLO 8 0.24419 0.20474 0.19158 0.14940 0.27723 0.23951 0.67384
INFLO 9 0.23256 0.19251 0.20456 0.16305 0.28235 0.24490 0.69801
INFLO 97 0.19767 0.15581 0.15412 0.10998 0.29060 0.25358 0.75914
INFLO 100 0.19767 0.15581 0.15461 0.11049 0.28936 0.25228 0.75969
COF 29 0.29070 0.25368 0.19598 0.15402 0.29586 0.25911 0.70390
COF 41 0.27907 0.24145 0.20978 0.16854 0.30189 0.26546 0.70313
COF 42 0.27907 0.24145 0.21336 0.17231 0.28235 0.24490 0.70196
COF 99 0.23256 0.19251 0.13385 0.08865 0.24277 0.20326 0.73635

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 1742 objects, 87 outliers (4.99%)

Download raw algorithm results (15.0 MB) Download raw algorithm evaluation table (67.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 3 0.14943 0.10471 0.13414 0.08862 0.19931 0.15722 0.70072
KNN 48 0.18391 0.14101 0.12111 0.07491 0.23000 0.18952 0.71921
KNN 49 0.19540 0.15311 0.12135 0.07516 0.22772 0.18713 0.71936
KNN 100 0.18391 0.14101 0.12657 0.08065 0.22053 0.17956 0.72845
KNNW 3 0.10345 0.05632 0.12519 0.07920 0.21384 0.17251 0.73108
KNNW 5 0.14943 0.10471 0.14481 0.09985 0.20930 0.16774 0.72258
KNNW 21 0.17241 0.12891 0.12887 0.08307 0.20495 0.16315 0.71197
KNNW 55 0.16092 0.11681 0.11846 0.07212 0.22010 0.17910 0.71869
LOF 5 0.27586 0.23780 0.16739 0.12362 0.28571 0.24817 0.65637
LOF 7 0.26437 0.22570 0.18102 0.13797 0.29139 0.25414 0.65710
LOF 8 0.27586 0.23780 0.21868 0.17760 0.28571 0.24817 0.66888
LOF 100 0.17241 0.12891 0.12926 0.08348 0.22156 0.18064 0.75955
SimplifiedLOF 12 0.27586 0.23780 0.18512 0.14228 0.28916 0.25179 0.67401
SimplifiedLOF 13 0.26437 0.22570 0.19574 0.15347 0.29688 0.25991 0.68056
SimplifiedLOF 84 0.16092 0.11681 0.12162 0.07544 0.20313 0.16123 0.72487
LoOP 13 0.26437 0.22570 0.18020 0.13710 0.27907 0.24117 0.67126
LoOP 14 0.25287 0.21360 0.18175 0.13874 0.27941 0.24153 0.66993
LoOP 15 0.25287 0.21360 0.17726 0.13401 0.29008 0.25276 0.67480
LoOP 88 0.16092 0.11681 0.13403 0.08851 0.20000 0.15795 0.71205
LDOF 14 0.25287 0.21360 0.14978 0.10509 0.26667 0.22812 0.64494
LDOF 18 0.22989 0.18940 0.16482 0.12092 0.25681 0.21774 0.65057
LDOF 26 0.24138 0.20150 0.16133 0.11724 0.27097 0.23264 0.63668
LDOF 100 0.16092 0.11681 0.13942 0.09418 0.20000 0.15795 0.71912
ODIN 7 0.18414 0.14125 0.10257 0.05539 0.18421 0.14133 0.63210
ODIN 82 0.13985 0.09463 0.16764 0.12389 0.21554 0.17430 0.71572
ODIN 99 0.15561 0.11123 0.18111 0.13806 0.21077 0.16928 0.72199
FastABOD 3 0.09195 0.04422 0.11379 0.06721 0.20047 0.15844 0.73005
FastABOD 4 0.10345 0.05632 0.11332 0.06671 0.20923 0.16766 0.72721
FastABOD 5 0.12644 0.08052 0.12584 0.07988 0.20449 0.16267 0.72676
FastABOD 6 0.10345 0.05632 0.12680 0.08089 0.20710 0.16542 0.72737
KDEOS 92 0.17241 0.12891 0.13339 0.08783 0.18257 0.13960 0.71228
KDEOS 96 0.18391 0.14101 0.13297 0.08739 0.18497 0.14213 0.71483
KDEOS 100 0.16092 0.11681 0.13213 0.08651 0.19247 0.15002 0.71658
LDF 7 0.22989 0.18940 0.19411 0.15175 0.24413 0.20440 0.67356
LDF 8 0.21839 0.17730 0.20892 0.16734 0.25000 0.21057 0.68098
LDF 99 0.19540 0.15311 0.15012 0.10545 0.26282 0.22407 0.78834
LDF 100 0.20690 0.16520 0.15050 0.10585 0.26498 0.22635 0.78803
INFLO 7 0.25287 0.21360 0.17491 0.13154 0.28000 0.24215 0.67871
INFLO 8 0.26437 0.22570 0.19728 0.15508 0.27972 0.24186 0.67197
INFLO 84 0.16092 0.11681 0.12357 0.07749 0.19569 0.15341 0.70509
COF 12 0.22989 0.18940 0.14220 0.09711 0.23810 0.19804 0.66824
COF 31 0.19540 0.15311 0.18923 0.14661 0.22099 0.18004 0.70383
COF 74 0.12644 0.08052 0.14103 0.09588 0.26667 0.22812 0.70329
COF 95 0.17241 0.12891 0.11736 0.07096 0.20772 0.16607 0.71591

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO