Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Cardiotocography (5% of outliers version#10)

Data set related to heart diseases. It describes 3 classes: normal, suspect, or pathological. Normal patients are treated as inliers and the remaining as outliers.

Download all data set variants used (8.8 MB). You can also access the original data. (CTG.xls)

Normalized, without duplicates

This version contains 21 attributes, 1734 objects, 86 outliers (4.96%)

Download raw algorithm results (15.0 MB) Download raw algorithm evaluation table (66.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 31 0.34884 0.31486 0.28626 0.24902 0.34884 0.31486 0.73421
KNN 42 0.32558 0.29039 0.29523 0.25845 0.35938 0.32594 0.73716
KNN 100 0.33721 0.30262 0.31848 0.28291 0.34848 0.31449 0.75578
KNNW 53 0.33721 0.30262 0.29288 0.25598 0.34839 0.31438 0.73366
KNNW 95 0.33721 0.30262 0.30395 0.26763 0.35115 0.31728 0.74178
KNNW 100 0.33721 0.30262 0.30421 0.26790 0.35115 0.31728 0.74245
LOF 99 0.32558 0.29039 0.24286 0.20335 0.32558 0.29039 0.79123
LOF 100 0.31395 0.27815 0.24302 0.20352 0.32184 0.28645 0.79132
SimplifiedLOF 11 0.33721 0.30262 0.22983 0.18964 0.33939 0.30492 0.75411
SimplifiedLOF 96 0.26744 0.22921 0.22121 0.18056 0.29787 0.26123 0.77370
LoOP 55 0.25581 0.21698 0.18637 0.14391 0.31579 0.28008 0.73982
LoOP 68 0.29070 0.25368 0.19247 0.15033 0.30769 0.27156 0.75040
LoOP 100 0.26744 0.22921 0.21158 0.17044 0.30435 0.26805 0.76377
LDOF 13 0.25581 0.21698 0.14730 0.10280 0.25989 0.22126 0.68336
LDOF 53 0.20930 0.16804 0.15753 0.11356 0.29224 0.25530 0.71856
LDOF 99 0.20930 0.16804 0.18916 0.14685 0.25641 0.21761 0.74260
LDOF 100 0.20930 0.16804 0.18929 0.14699 0.25830 0.21960 0.74248
ODIN 86 0.23339 0.19338 0.15753 0.11357 0.24516 0.20577 0.74447
ODIN 99 0.23256 0.19251 0.16544 0.12189 0.26160 0.22307 0.75353
ODIN 100 0.23023 0.19006 0.16628 0.12278 0.26496 0.22660 0.75335
FastABOD 16 0.24419 0.20474 0.20125 0.15956 0.28283 0.24540 0.73139
FastABOD 18 0.22093 0.18027 0.20775 0.16640 0.28283 0.24540 0.73151
FastABOD 58 0.26744 0.22921 0.19615 0.15421 0.26744 0.22921 0.73672
FastABOD 99 0.25581 0.21698 0.20555 0.16409 0.27673 0.23899 0.74085
KDEOS 21 0.13953 0.09463 0.09904 0.05202 0.16967 0.12634 0.69023
KDEOS 30 0.12791 0.08240 0.10367 0.05689 0.16134 0.11757 0.69021
KDEOS 100 0.11628 0.07016 0.10185 0.05498 0.18969 0.14741 0.71760
LDF 96 0.37209 0.33933 0.29611 0.25937 0.37870 0.34628 0.77873
LDF 100 0.37209 0.33933 0.30689 0.27072 0.38509 0.35300 0.78033
INFLO 52 0.25581 0.21698 0.18775 0.14536 0.29885 0.26226 0.75766
INFLO 97 0.29070 0.25368 0.22060 0.17993 0.29070 0.25368 0.79037
INFLO 100 0.27907 0.24145 0.22402 0.18352 0.29167 0.25470 0.78831
COF 14 0.31395 0.27815 0.29073 0.25372 0.34109 0.30670 0.76164
COF 37 0.39535 0.36380 0.32755 0.29246 0.40237 0.37118 0.75058
COF 45 0.36047 0.32709 0.34873 0.31474 0.40845 0.37758 0.73902

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 1742 objects, 87 outliers (4.99%)

Download raw algorithm results (15.1 MB) Download raw algorithm evaluation table (66.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 65 0.33333 0.29829 0.25162 0.21228 0.33333 0.29829 0.70987
KNN 96 0.33333 0.29829 0.27060 0.23226 0.33898 0.30423 0.72236
KNN 100 0.33333 0.29829 0.27032 0.23196 0.34409 0.30961 0.72382
KNNW 4 0.31034 0.27409 0.21808 0.17698 0.32298 0.28739 0.69743
KNNW 100 0.29885 0.26199 0.23653 0.19639 0.30864 0.27230 0.70364
LOF 6 0.26437 0.22570 0.16392 0.11997 0.29487 0.25780 0.68283
LOF 8 0.27586 0.23780 0.15732 0.11303 0.28070 0.24289 0.69896
LOF 100 0.24138 0.20150 0.18035 0.13726 0.26316 0.22442 0.77399
SimplifiedLOF 12 0.31034 0.27409 0.18063 0.13756 0.32039 0.28466 0.70899
SimplifiedLOF 100 0.21839 0.17730 0.15456 0.11012 0.23030 0.18984 0.74240
LoOP 9 0.26437 0.22570 0.15502 0.11061 0.27273 0.23450 0.69386
LoOP 10 0.24138 0.20150 0.15231 0.10775 0.27835 0.24041 0.69770
LoOP 12 0.24138 0.20150 0.15545 0.11105 0.25926 0.22032 0.70159
LoOP 100 0.21839 0.17730 0.14753 0.10272 0.23377 0.19349 0.73141
LDOF 13 0.22989 0.18940 0.14100 0.09584 0.24096 0.20106 0.66587
LDOF 15 0.20690 0.16520 0.14993 0.10525 0.23611 0.19596 0.67285
LDOF 53 0.17241 0.12891 0.12321 0.07712 0.25941 0.22048 0.67357
LDOF 99 0.19540 0.15311 0.13642 0.09102 0.22222 0.18134 0.71262
ODIN 67 0.18391 0.14101 0.11302 0.06639 0.18767 0.14496 0.70797
ODIN 100 0.16256 0.11854 0.12200 0.07585 0.20690 0.16520 0.72765
FastABOD 5 0.21839 0.17730 0.15495 0.11053 0.21930 0.17826 0.72776
FastABOD 11 0.21839 0.17730 0.16152 0.11744 0.23913 0.19913 0.70969
FastABOD 12 0.22989 0.18940 0.15923 0.11503 0.24309 0.20330 0.70868
FastABOD 88 0.21839 0.17730 0.15900 0.11479 0.24615 0.20653 0.70634
KDEOS 27 0.10345 0.05632 0.11296 0.06633 0.15531 0.11091 0.66553
KDEOS 41 0.14943 0.10471 0.10653 0.05956 0.16858 0.12488 0.67263
KDEOS 43 0.14943 0.10471 0.10834 0.06146 0.16928 0.12561 0.67002
KDEOS 100 0.08046 0.03212 0.07972 0.03134 0.16514 0.12125 0.68379
LDF 75 0.32184 0.28619 0.22949 0.18899 0.33880 0.30404 0.76652
LDF 87 0.35632 0.32248 0.25777 0.21875 0.36478 0.33139 0.76516
LDF 98 0.34483 0.31039 0.27877 0.24085 0.37500 0.34215 0.76233
LDF 100 0.35632 0.32248 0.28249 0.24478 0.37419 0.34130 0.76286
INFLO 4 0.24138 0.20150 0.13011 0.08438 0.25333 0.21408 0.62811
INFLO 97 0.24138 0.20150 0.15771 0.11343 0.24865 0.20915 0.76730
INFLO 99 0.24138 0.20150 0.15931 0.11512 0.25414 0.21494 0.76677
COF 19 0.26437 0.22570 0.17868 0.13550 0.27711 0.23911 0.65687
COF 63 0.24138 0.20150 0.16735 0.12358 0.26718 0.22865 0.72194
COF 69 0.20690 0.16520 0.16656 0.12275 0.28571 0.24817 0.71241
COF 100 0.22989 0.18940 0.20377 0.16192 0.24044 0.20051 0.70980

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 1734 objects, 86 outliers (4.96%)

Download raw algorithm results (15.0 MB) Download raw algorithm evaluation table (65.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.24419 0.20474 0.22479 0.18434 0.28302 0.24560 0.79193
KNN 2 0.23256 0.19251 0.22803 0.18775 0.27027 0.23219 0.77746
KNN 3 0.25581 0.21698 0.20115 0.15946 0.27329 0.23537 0.76941
KNN 49 0.20930 0.16804 0.16399 0.12036 0.28936 0.25228 0.75568
KNNW 2 0.25581 0.21698 0.23476 0.19483 0.28571 0.24844 0.79354
KNNW 3 0.23256 0.19251 0.24418 0.20474 0.29146 0.25448 0.79273
KNNW 4 0.22093 0.18027 0.21907 0.17831 0.30151 0.26506 0.78929
LOF 8 0.30233 0.26592 0.23800 0.19823 0.34579 0.31166 0.79431
LOF 9 0.33721 0.30262 0.23482 0.19489 0.33918 0.30470 0.79732
LOF 99 0.22093 0.18027 0.17751 0.13459 0.28837 0.25124 0.80627
SimplifiedLOF 13 0.33721 0.30262 0.25616 0.21734 0.33721 0.30262 0.80147
SimplifiedLOF 15 0.31395 0.27815 0.24085 0.20124 0.33962 0.30516 0.79730
LoOP 11 0.31395 0.27815 0.22900 0.18877 0.31953 0.28402 0.77830
LoOP 13 0.29070 0.25368 0.24801 0.20877 0.30882 0.27275 0.78856
LoOP 14 0.27907 0.24145 0.23888 0.19916 0.29557 0.25881 0.78968
LDOF 13 0.27907 0.24145 0.22619 0.18581 0.29091 0.25391 0.69441
LDOF 14 0.27907 0.24145 0.22402 0.18353 0.30189 0.26546 0.69736
LDOF 18 0.29070 0.25368 0.21771 0.17688 0.29586 0.25911 0.71115
LDOF 99 0.23256 0.19251 0.18706 0.14463 0.26596 0.22765 0.76937
ODIN 84 0.20930 0.16804 0.20481 0.16331 0.28571 0.24844 0.77039
ODIN 95 0.23488 0.19496 0.20894 0.16766 0.28013 0.24256 0.77920
ODIN 97 0.24419 0.20474 0.20616 0.16473 0.27922 0.24161 0.78105
ODIN 100 0.24419 0.20474 0.20833 0.16701 0.28571 0.24844 0.78319
FastABOD 4 0.25581 0.21698 0.20843 0.16712 0.26415 0.22575 0.79175
FastABOD 5 0.24419 0.20474 0.20883 0.16754 0.26400 0.22559 0.79465
FastABOD 8 0.25581 0.21698 0.21130 0.17014 0.28723 0.25004 0.79146
FastABOD 9 0.24419 0.20474 0.20826 0.16694 0.29167 0.25470 0.78397
KDEOS 87 0.17442 0.13134 0.16160 0.11785 0.21176 0.17063 0.76194
KDEOS 89 0.17442 0.13134 0.16362 0.11997 0.21836 0.17757 0.76136
KDEOS 97 0.13953 0.09463 0.15389 0.10974 0.22943 0.18921 0.76516
KDEOS 100 0.13953 0.09463 0.15462 0.11050 0.22727 0.18695 0.76632
LDF 6 0.27907 0.24145 0.23119 0.19107 0.30000 0.26347 0.78196
LDF 8 0.26744 0.22921 0.24836 0.20913 0.30168 0.26523 0.79769
LDF 100 0.25581 0.21698 0.18736 0.14495 0.28159 0.24410 0.81992
INFLO 7 0.26744 0.22921 0.23294 0.19291 0.31148 0.27555 0.78697
INFLO 8 0.29070 0.25368 0.23972 0.20005 0.33333 0.29854 0.77909
INFLO 11 0.30233 0.26592 0.23333 0.19332 0.31088 0.27492 0.76819
COF 13 0.24419 0.20474 0.22892 0.18869 0.30573 0.26950 0.79328
COF 16 0.26744 0.22921 0.20574 0.16429 0.33493 0.30022 0.78050
COF 18 0.30233 0.26592 0.19138 0.14918 0.31698 0.28134 0.76716

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 1742 objects, 87 outliers (4.99%)

Download raw algorithm results (15.0 MB) Download raw algorithm evaluation table (67.0 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.22989 0.18940 0.17823 0.13503 0.25000 0.21057 0.76100
KNN 62 0.18391 0.14101 0.12994 0.08421 0.27358 0.23540 0.74332
KNNW 1 0.24138 0.20150 0.18145 0.13842 0.24138 0.20150 0.72461
KNNW 2 0.21839 0.17730 0.18774 0.14504 0.24478 0.20508 0.76300
KNNW 3 0.20690 0.16520 0.17478 0.13140 0.24752 0.20797 0.77111
KNNW 95 0.19540 0.15311 0.13029 0.08457 0.26201 0.22321 0.74245
LOF 6 0.25287 0.21360 0.17728 0.13403 0.30534 0.26883 0.72553
LOF 8 0.27586 0.23780 0.20655 0.16484 0.28947 0.25212 0.73561
LOF 100 0.18391 0.14101 0.14236 0.09727 0.25000 0.21057 0.78553
SimplifiedLOF 10 0.27586 0.23780 0.20010 0.15805 0.30882 0.27249 0.73916
SimplifiedLOF 13 0.25287 0.21360 0.20114 0.15915 0.28571 0.24817 0.75790
SimplifiedLOF 16 0.25287 0.21360 0.18984 0.14725 0.27668 0.23866 0.76119
LoOP 10 0.25287 0.21360 0.18532 0.14249 0.26829 0.22983 0.72457
LoOP 13 0.21839 0.17730 0.19249 0.15004 0.24806 0.20853 0.73870
LoOP 16 0.21839 0.17730 0.18319 0.14025 0.24272 0.20291 0.73873
LDOF 20 0.22989 0.18940 0.18397 0.14108 0.26761 0.22911 0.68691
LDOF 28 0.26437 0.22570 0.15107 0.10644 0.26901 0.23058 0.67541
LDOF 100 0.17241 0.12891 0.13311 0.08754 0.24215 0.20231 0.73415
ODIN 6 0.20784 0.16620 0.11599 0.06952 0.21739 0.17625 0.69732
ODIN 65 0.15453 0.11009 0.17688 0.13361 0.25306 0.21380 0.72184
ODIN 99 0.19540 0.15311 0.19549 0.15319 0.23810 0.19804 0.74796
ODIN 100 0.19349 0.15109 0.19419 0.15183 0.23301 0.19269 0.74823
FastABOD 3 0.18391 0.14101 0.13344 0.08789 0.19381 0.15143 0.71979
FastABOD 10 0.18391 0.14101 0.16204 0.11799 0.23607 0.19591 0.73311
FastABOD 12 0.18391 0.14101 0.15690 0.11258 0.24026 0.20032 0.73350
FastABOD 13 0.18391 0.14101 0.15729 0.11299 0.24026 0.20032 0.73420
KDEOS 37 0.12644 0.08052 0.09057 0.04276 0.16071 0.11659 0.68379
KDEOS 94 0.09195 0.04422 0.11850 0.07216 0.19204 0.14956 0.72025
KDEOS 96 0.10345 0.05632 0.11258 0.06593 0.19807 0.15591 0.72194
KDEOS 100 0.10345 0.05632 0.11032 0.06355 0.19706 0.15486 0.72278
LDF 7 0.27586 0.23780 0.21753 0.17640 0.30769 0.27130 0.73619
LDF 8 0.27586 0.23780 0.22433 0.18355 0.29384 0.25672 0.74710
LDF 99 0.24138 0.20150 0.15759 0.11331 0.26032 0.22143 0.81681
INFLO 9 0.25287 0.21360 0.18407 0.14118 0.26036 0.22147 0.72567
INFLO 10 0.25287 0.21360 0.18836 0.14570 0.27586 0.23780 0.73043
INFLO 92 0.22989 0.18940 0.13595 0.09053 0.23830 0.19826 0.74428
COF 16 0.29885 0.26199 0.20929 0.16772 0.30058 0.26381 0.74224
COF 17 0.28736 0.24989 0.19447 0.15212 0.31579 0.27982 0.74175
COF 20 0.27586 0.23780 0.20290 0.16100 0.29189 0.25467 0.74951
COF 24 0.27586 0.23780 0.21603 0.17482 0.29448 0.25739 0.74052

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO