Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Cardiotocography (5% of outliers version#04)

Data set related to heart diseases. It describes 3 classes: normal, suspect, or pathological. Normal patients are treated as inliers and the remaining as outliers.

Download all data set variants used (8.8 MB). You can also access the original data. (CTG.xls)

Normalized, without duplicates

This version contains 21 attributes, 1734 objects, 86 outliers (4.96%)

Download raw algorithm results (15.0 MB) Download raw algorithm evaluation table (65.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 97 0.38372 0.35156 0.30926 0.27321 0.38372 0.35156 0.77797
KNN 99 0.38372 0.35156 0.30946 0.27342 0.38372 0.35156 0.77855
KNN 100 0.38372 0.35156 0.30942 0.27338 0.38372 0.35156 0.77902
KNNW 98 0.34884 0.31486 0.29229 0.25536 0.35088 0.31700 0.76595
KNNW 99 0.34884 0.31486 0.29248 0.25555 0.35294 0.31917 0.76613
KNNW 100 0.34884 0.31486 0.29266 0.25575 0.35294 0.31917 0.76634
LOF 7 0.27907 0.24145 0.20626 0.16484 0.31313 0.27729 0.73049
LOF 8 0.27907 0.24145 0.20337 0.16180 0.32512 0.28991 0.74251
LOF 100 0.25581 0.21698 0.23362 0.19363 0.27692 0.23919 0.81480
SimplifiedLOF 11 0.31395 0.27815 0.23766 0.19788 0.32335 0.28804 0.74915
SimplifiedLOF 12 0.32558 0.29039 0.23677 0.19694 0.32768 0.29260 0.74708
SimplifiedLOF 13 0.30233 0.26592 0.23117 0.19105 0.33520 0.30050 0.74761
SimplifiedLOF 100 0.24419 0.20474 0.22094 0.18029 0.27170 0.23369 0.79765
LoOP 14 0.32558 0.29039 0.20610 0.16467 0.32941 0.29442 0.74259
LoOP 99 0.25581 0.21698 0.21108 0.16991 0.27706 0.23933 0.78945
LoOP 100 0.25581 0.21698 0.21222 0.17111 0.27556 0.23775 0.78928
LDOF 18 0.26744 0.22921 0.21443 0.17343 0.31169 0.27577 0.72665
LDOF 20 0.29070 0.25368 0.21251 0.17141 0.30168 0.26523 0.72377
LDOF 99 0.22093 0.18027 0.19222 0.15006 0.25843 0.21973 0.77545
ODIN 50 0.26434 0.22595 0.16232 0.11860 0.26590 0.22759 0.75747
ODIN 55 0.25581 0.21698 0.16544 0.12189 0.26994 0.23184 0.76094
ODIN 100 0.23256 0.19251 0.17766 0.13475 0.24510 0.20570 0.78319
FastABOD 7 0.30233 0.26592 0.17100 0.12774 0.30682 0.27064 0.75032
FastABOD 9 0.29070 0.25368 0.18030 0.13753 0.31285 0.27699 0.75261
FastABOD 99 0.24419 0.20474 0.18911 0.14679 0.25926 0.22060 0.76107
FastABOD 100 0.24419 0.20474 0.18892 0.14660 0.25868 0.21999 0.76133
KDEOS 14 0.15116 0.10687 0.13613 0.09105 0.20069 0.15898 0.67561
KDEOS 18 0.19767 0.15581 0.12343 0.07769 0.21858 0.17780 0.68866
KDEOS 100 0.13953 0.09463 0.12531 0.07966 0.19573 0.15376 0.73856
LDF 90 0.37209 0.33933 0.28954 0.25247 0.39130 0.35954 0.79730
LDF 99 0.37209 0.33933 0.30549 0.26924 0.42336 0.39327 0.79817
LDF 100 0.37209 0.33933 0.31393 0.27813 0.42029 0.39004 0.79910
INFLO 10 0.27907 0.24145 0.18516 0.14264 0.28743 0.25024 0.73977
INFLO 56 0.22093 0.18027 0.19786 0.15601 0.29104 0.25405 0.77734
INFLO 100 0.26744 0.22921 0.22263 0.18207 0.28395 0.24658 0.80695
COF 16 0.31395 0.27815 0.24537 0.20599 0.32298 0.28765 0.72421
COF 32 0.30233 0.26592 0.30616 0.26995 0.36090 0.32755 0.73243
COF 34 0.30233 0.26592 0.30166 0.26522 0.38400 0.35185 0.73518
COF 62 0.25581 0.21698 0.26595 0.22765 0.27907 0.24145 0.76446

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 1742 objects, 87 outliers (4.99%)

Download raw algorithm results (15.1 MB) Download raw algorithm evaluation table (66.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.28736 0.24989 0.25033 0.21093 0.32258 0.28697 0.70136
KNN 99 0.31034 0.27409 0.26459 0.22594 0.31034 0.27409 0.75707
KNNW 2 0.31034 0.27409 0.23405 0.19378 0.31138 0.27518 0.70036
KNNW 3 0.29885 0.26199 0.24948 0.21003 0.32402 0.28849 0.70298
KNNW 5 0.28736 0.24989 0.25343 0.21419 0.31373 0.27765 0.70319
KNNW 100 0.27586 0.23780 0.24893 0.20945 0.28571 0.24817 0.74015
LOF 5 0.31034 0.27409 0.20272 0.16081 0.32624 0.29082 0.72684
LOF 6 0.28736 0.24989 0.21707 0.17592 0.30137 0.26464 0.73392
LOF 100 0.22989 0.18940 0.19148 0.14898 0.24645 0.20683 0.79240
SimplifiedLOF 11 0.32184 0.28619 0.23061 0.19017 0.33488 0.29992 0.73629
SimplifiedLOF 14 0.31034 0.27409 0.21794 0.17683 0.34000 0.30531 0.74031
SimplifiedLOF 100 0.21839 0.17730 0.18182 0.13881 0.24272 0.20291 0.76875
LoOP 11 0.28736 0.24989 0.20935 0.16779 0.31963 0.28387 0.74358
LoOP 12 0.31034 0.27409 0.19609 0.15384 0.32456 0.28905 0.74197
LoOP 14 0.28736 0.24989 0.18485 0.14200 0.32821 0.29289 0.73910
LoOP 100 0.20690 0.16520 0.17340 0.12995 0.24786 0.20832 0.75949
LDOF 15 0.31034 0.27409 0.19786 0.15569 0.32584 0.29040 0.72990
LDOF 17 0.29885 0.26199 0.19869 0.15656 0.30872 0.27239 0.73492
LDOF 100 0.19540 0.15311 0.16406 0.12011 0.25676 0.21769 0.73888
ODIN 20 0.16858 0.12488 0.13649 0.09110 0.22837 0.18781 0.70747
ODIN 35 0.19869 0.15656 0.13905 0.09379 0.21865 0.17758 0.72132
ODIN 100 0.18495 0.14211 0.15109 0.10647 0.21995 0.17894 0.75921
FastABOD 7 0.29885 0.26199 0.19028 0.14772 0.30588 0.26939 0.71933
FastABOD 8 0.28736 0.24989 0.19720 0.15500 0.30120 0.26447 0.71676
FastABOD 14 0.29885 0.26199 0.19513 0.15282 0.31638 0.28045 0.71082
FastABOD 15 0.31034 0.27409 0.19401 0.15164 0.31638 0.28045 0.71036
KDEOS 21 0.11494 0.06842 0.11934 0.07305 0.17949 0.13635 0.67899
KDEOS 53 0.16092 0.11681 0.10925 0.06242 0.18750 0.14479 0.68865
KDEOS 73 0.13793 0.09261 0.10162 0.05439 0.20588 0.16414 0.70298
KDEOS 100 0.10345 0.05632 0.09837 0.05097 0.18852 0.14587 0.71665
LDF 94 0.35632 0.32248 0.26349 0.22477 0.35632 0.32248 0.78164
LDF 97 0.35632 0.32248 0.26931 0.23090 0.35838 0.32465 0.78410
LDF 100 0.34483 0.31039 0.27271 0.23448 0.34884 0.31461 0.78364
INFLO 7 0.27586 0.23780 0.19395 0.15157 0.27933 0.24145 0.72688
INFLO 8 0.26437 0.22570 0.19377 0.15139 0.29834 0.26146 0.72864
INFLO 99 0.19540 0.15311 0.18435 0.14148 0.27007 0.23170 0.78880
COF 13 0.31034 0.27409 0.25413 0.21492 0.34483 0.31039 0.70632
COF 14 0.29885 0.26199 0.27634 0.23830 0.35659 0.32277 0.70416
COF 78 0.21839 0.17730 0.20761 0.16595 0.23404 0.19378 0.75103

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 1734 objects, 86 outliers (4.96%)

Download raw algorithm results (15.0 MB) Download raw algorithm evaluation table (65.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.22093 0.18027 0.17819 0.13531 0.28829 0.25115 0.76097
KNN 4 0.19767 0.15581 0.18026 0.13748 0.26761 0.22939 0.77163
KNN 46 0.17442 0.13134 0.15912 0.11524 0.30252 0.26612 0.78428
KNN 100 0.18605 0.14357 0.16265 0.11896 0.28926 0.25217 0.79273
KNNW 6 0.19767 0.15581 0.19379 0.15172 0.28340 0.24601 0.78215
KNNW 19 0.22093 0.18027 0.17005 0.12674 0.25660 0.21781 0.77852
KNNW 90 0.18605 0.14357 0.15934 0.11547 0.29752 0.26086 0.78595
KNNW 100 0.18605 0.14357 0.15985 0.11601 0.29630 0.25957 0.78693
LOF 7 0.32558 0.29039 0.24624 0.20691 0.35065 0.31676 0.73609
LOF 8 0.31395 0.27815 0.26621 0.22792 0.33333 0.29854 0.73445
LOF 100 0.18605 0.14357 0.17250 0.12932 0.28412 0.24676 0.82637
SimplifiedLOF 13 0.27907 0.24145 0.24405 0.20460 0.34109 0.30670 0.72745
SimplifiedLOF 16 0.30233 0.26592 0.24730 0.20802 0.31847 0.28291 0.73993
SimplifiedLOF 19 0.27907 0.24145 0.24754 0.20827 0.29752 0.26086 0.74657
SimplifiedLOF 100 0.17442 0.13134 0.16472 0.12113 0.27742 0.23971 0.79085
LoOP 10 0.27907 0.24145 0.21418 0.17317 0.29197 0.25502 0.70302
LoOP 18 0.26744 0.22921 0.22835 0.18809 0.29630 0.25957 0.72849
LoOP 100 0.18605 0.14357 0.17616 0.13317 0.27397 0.23609 0.77894
LDOF 18 0.27907 0.24145 0.20877 0.16748 0.30435 0.26805 0.68244
LDOF 21 0.26744 0.22921 0.21052 0.16932 0.30345 0.26710 0.68651
LDOF 100 0.19767 0.15581 0.18891 0.14659 0.28571 0.24844 0.77856
ODIN 48 0.25814 0.21943 0.22055 0.17988 0.26286 0.22439 0.76230
ODIN 95 0.19186 0.14969 0.25419 0.21527 0.30222 0.26581 0.79276
ODIN 98 0.19767 0.15581 0.25553 0.21668 0.29412 0.25728 0.79510
ODIN 100 0.19767 0.15581 0.25455 0.21565 0.29596 0.25922 0.79531
FastABOD 4 0.24419 0.20474 0.19118 0.14897 0.25185 0.21281 0.75774
FastABOD 14 0.19767 0.15581 0.17610 0.13310 0.26357 0.22514 0.77819
FastABOD 100 0.17442 0.13134 0.16559 0.12204 0.24691 0.20761 0.78516
KDEOS 89 0.18605 0.14357 0.16641 0.12291 0.24096 0.20135 0.75700
KDEOS 95 0.20930 0.16804 0.16396 0.12033 0.24268 0.20316 0.76355
KDEOS 100 0.19767 0.15581 0.16298 0.11930 0.25000 0.21086 0.76797
LDF 5 0.29070 0.25368 0.21140 0.17025 0.29885 0.26226 0.69527
LDF 6 0.26744 0.22921 0.22646 0.18609 0.27059 0.23252 0.73451
LDF 100 0.22093 0.18027 0.18681 0.14437 0.29553 0.25877 0.84349
INFLO 8 0.27907 0.24145 0.22777 0.18747 0.29592 0.25918 0.68415
INFLO 9 0.29070 0.25368 0.22309 0.18254 0.30303 0.26666 0.71124
INFLO 82 0.23256 0.19251 0.16931 0.12596 0.26957 0.23145 0.77826
COF 13 0.23256 0.19251 0.18588 0.14339 0.29016 0.25311 0.74097
COF 15 0.26744 0.22921 0.19239 0.15024 0.27381 0.23591 0.74625
COF 38 0.24419 0.20474 0.23076 0.19062 0.25907 0.22040 0.76792
COF 80 0.18605 0.14357 0.14721 0.10270 0.25316 0.21419 0.77136

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 1742 objects, 87 outliers (4.99%)

Download raw algorithm results (15.0 MB) Download raw algorithm evaluation table (66.2 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.24138 0.20150 0.17246 0.12895 0.26882 0.23038 0.74471
KNN 95 0.19540 0.15311 0.14078 0.09561 0.27230 0.23405 0.75504
KNN 100 0.19540 0.15311 0.14116 0.09601 0.26977 0.23138 0.75597
KNNW 1 0.24138 0.20150 0.19586 0.15359 0.26250 0.22373 0.72916
KNNW 2 0.25287 0.21360 0.19049 0.14793 0.26994 0.23156 0.74575
KNNW 4 0.24138 0.20150 0.17891 0.13575 0.28141 0.24363 0.74856
KNNW 100 0.18391 0.14101 0.13858 0.09330 0.24595 0.20632 0.74974
LOF 8 0.25287 0.21360 0.19369 0.15130 0.28966 0.25231 0.71596
LOF 9 0.26437 0.22570 0.19498 0.15266 0.28025 0.24242 0.71895
LOF 12 0.24138 0.20150 0.20026 0.15822 0.25000 0.21057 0.73735
LOF 99 0.19540 0.15311 0.14917 0.10444 0.24800 0.20847 0.79371
SimplifiedLOF 11 0.28736 0.24989 0.19694 0.15472 0.30303 0.26639 0.71014
SimplifiedLOF 12 0.28736 0.24989 0.20583 0.16408 0.30380 0.26720 0.71569
SimplifiedLOF 13 0.26437 0.22570 0.21223 0.17082 0.28750 0.25005 0.71921
SimplifiedLOF 100 0.18391 0.14101 0.14214 0.09704 0.24742 0.20786 0.74919
LoOP 12 0.26437 0.22570 0.18897 0.14633 0.27807 0.24012 0.70726
LoOP 13 0.25287 0.21360 0.19658 0.15435 0.26667 0.22812 0.71011
LoOP 99 0.19540 0.15311 0.15135 0.10674 0.25342 0.21418 0.73155
LDOF 19 0.24138 0.20150 0.17092 0.12733 0.26131 0.22247 0.64698
LDOF 66 0.22989 0.18940 0.17125 0.12768 0.25735 0.21831 0.72867
LDOF 97 0.19540 0.15311 0.16452 0.12060 0.25532 0.21617 0.73615
ODIN 6 0.22156 0.18063 0.12203 0.07588 0.23204 0.19167 0.69958
ODIN 69 0.17241 0.12891 0.21467 0.17339 0.26543 0.22682 0.73083
ODIN 89 0.18391 0.14101 0.22118 0.18024 0.26059 0.22172 0.74398
ODIN 100 0.19540 0.15311 0.22035 0.17936 0.25574 0.21661 0.74960
FastABOD 3 0.19540 0.15311 0.13686 0.09148 0.23208 0.19171 0.74099
FastABOD 4 0.24138 0.20150 0.16312 0.11912 0.26316 0.22442 0.73548
FastABOD 5 0.21839 0.17730 0.17765 0.13442 0.25217 0.21286 0.73688
KDEOS 90 0.19540 0.15311 0.13268 0.08709 0.21359 0.17225 0.74211
KDEOS 95 0.19540 0.15311 0.13577 0.09034 0.22689 0.18625 0.74513
KDEOS 96 0.19540 0.15311 0.13587 0.09044 0.22140 0.18047 0.74611
KDEOS 99 0.17241 0.12891 0.13486 0.08938 0.22222 0.18134 0.74720
LDF 8 0.25287 0.21360 0.24318 0.20340 0.31472 0.27870 0.77488
LDF 100 0.21839 0.17730 0.16121 0.11712 0.25703 0.21797 0.81945
INFLO 9 0.26437 0.22570 0.19665 0.15442 0.26590 0.22731 0.68405
INFLO 10 0.25287 0.21360 0.19551 0.15322 0.27815 0.24020 0.70126
INFLO 11 0.24138 0.20150 0.19864 0.15651 0.25862 0.21965 0.71181
INFLO 63 0.20690 0.16520 0.15320 0.10869 0.25430 0.21510 0.73804
COF 13 0.22989 0.18940 0.17037 0.12676 0.28704 0.24956 0.72992
COF 14 0.26437 0.22570 0.17870 0.13552 0.27059 0.23224 0.73843
COF 16 0.22989 0.18940 0.17975 0.13663 0.27556 0.23747 0.75179
COF 28 0.20690 0.16520 0.21628 0.17508 0.24561 0.20596 0.73149

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO