Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Cardiotocography (2% of outliers version#04)

Data set related to heart diseases. It describes 3 classes: normal, suspect, or pathological. Normal patients are treated as inliers and the remaining as outliers.

Download all data set variants used (8.8 MB). You can also access the original data. (CTG.xls)

Normalized, without duplicates

This version contains 21 attributes, 1681 objects, 33 outliers (1.96%)

Download raw algorithm results (14.6 MB) Download raw algorithm evaluation table (58.2 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.24242 0.22725 0.20620 0.19031 0.31818 0.30453 0.78453
KNN 2 0.24242 0.22725 0.19783 0.18177 0.33333 0.31998 0.78307
KNNW 1 0.24242 0.22725 0.18024 0.16383 0.25000 0.23498 0.81739
KNNW 4 0.24242 0.22725 0.21876 0.20312 0.33333 0.31998 0.79794
KNNW 7 0.24242 0.22725 0.20956 0.19373 0.34043 0.32722 0.78021
LOF 8 0.30303 0.28907 0.23350 0.21816 0.31250 0.29873 0.84525
SimplifiedLOF 9 0.30303 0.28907 0.26498 0.25026 0.33333 0.31998 0.86612
SimplifiedLOF 10 0.33333 0.31998 0.25291 0.23795 0.34921 0.33617 0.87022
SimplifiedLOF 11 0.33333 0.31998 0.23968 0.22445 0.35294 0.33998 0.86371
LoOP 9 0.27273 0.25816 0.19732 0.18125 0.32727 0.31380 0.86221
LoOP 10 0.30303 0.28907 0.18573 0.16943 0.32143 0.30784 0.86830
LDOF 9 0.18182 0.16543 0.13492 0.11760 0.20619 0.19029 0.78347
LDOF 14 0.27273 0.25816 0.12309 0.10553 0.27273 0.25816 0.79371
LDOF 16 0.24242 0.22725 0.11868 0.10103 0.27500 0.26048 0.80349
LDOF 23 0.27273 0.25816 0.11136 0.09357 0.29032 0.27611 0.79016
ODIN 4 0.07527 0.05675 0.06797 0.04931 0.14789 0.13082 0.81962
ODIN 45 0.21212 0.19634 0.08566 0.06735 0.21212 0.19634 0.75496
ODIN 54 0.21212 0.19634 0.08910 0.07086 0.22581 0.21030 0.75348
ODIN 100 0.18182 0.16543 0.10289 0.08493 0.21818 0.20253 0.76651
FastABOD 6 0.24242 0.22725 0.16080 0.14400 0.25397 0.23903 0.85181
FastABOD 7 0.21212 0.19634 0.15961 0.14279 0.26923 0.25460 0.83749
FastABOD 9 0.21212 0.19634 0.16541 0.14870 0.25455 0.23962 0.83039
KDEOS 16 0.06061 0.04180 0.07060 0.05199 0.15054 0.13353 0.80568
KDEOS 19 0.09091 0.07271 0.06964 0.05101 0.14458 0.12745 0.80774
KDEOS 20 0.12121 0.10362 0.06951 0.05088 0.15385 0.13690 0.79632
KDEOS 27 0.06061 0.04180 0.06220 0.04342 0.16364 0.14689 0.79933
LDF 1 0.24242 0.22725 0.13735 0.12008 0.25926 0.24443 0.62488
LDF 7 0.24242 0.22725 0.25939 0.24456 0.33333 0.31998 0.79009
LDF 8 0.24242 0.22725 0.19342 0.17727 0.28571 0.27141 0.80676
INFLO 3 0.27273 0.25816 0.20476 0.18884 0.27397 0.25943 0.80910
INFLO 6 0.27273 0.25816 0.17026 0.15364 0.27692 0.26244 0.87027
INFLO 8 0.30303 0.28907 0.18055 0.16414 0.32836 0.31491 0.83176
COF 8 0.33333 0.31998 0.31443 0.30070 0.42308 0.41152 0.85205
COF 9 0.36364 0.35089 0.34335 0.33020 0.42308 0.41152 0.83190
COF 11 0.36364 0.35089 0.31466 0.30094 0.40000 0.38799 0.86167

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 1688 objects, 33 outliers (1.95%)

Download raw algorithm results (14.6 MB) Download raw algorithm evaluation table (59.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.21212 0.19641 0.15773 0.14093 0.23810 0.22290 0.76769
KNN 25 0.24242 0.22732 0.14054 0.12341 0.26230 0.24759 0.73256
KNN 73 0.24242 0.22732 0.17651 0.16009 0.29091 0.27677 0.74335
KNN 100 0.24242 0.22732 0.18210 0.16579 0.28571 0.27147 0.74866
KNNW 1 0.18182 0.16550 0.17239 0.15589 0.25532 0.24047 0.77418
KNNW 2 0.21212 0.19641 0.16640 0.14978 0.25000 0.23505 0.78601
KNNW 45 0.24242 0.22732 0.14511 0.12806 0.24242 0.22732 0.73921
KNNW 65 0.24242 0.22732 0.14923 0.13227 0.26667 0.25204 0.74016
LOF 4 0.27273 0.25823 0.19729 0.18128 0.35294 0.34004 0.71352
LOF 7 0.24242 0.22732 0.23848 0.22330 0.31111 0.29737 0.74741
LOF 100 0.21212 0.19641 0.13159 0.11427 0.24528 0.23023 0.81212
SimplifiedLOF 5 0.27273 0.25823 0.18519 0.16895 0.27692 0.26251 0.72530
SimplifiedLOF 7 0.27273 0.25823 0.23731 0.22210 0.33333 0.32004 0.77616
SimplifiedLOF 9 0.27273 0.25823 0.25366 0.23878 0.33333 0.32004 0.77647
SimplifiedLOF 100 0.15152 0.13460 0.12122 0.10369 0.21818 0.20259 0.80134
LoOP 5 0.27273 0.25823 0.17596 0.15953 0.31579 0.30215 0.73065
LoOP 7 0.27273 0.25823 0.23610 0.22087 0.31373 0.30004 0.77752
LoOP 9 0.27273 0.25823 0.23436 0.21909 0.32143 0.30790 0.76839
LoOP 100 0.21212 0.19641 0.11933 0.10177 0.23077 0.21543 0.78834
LDOF 8 0.27273 0.25823 0.17246 0.15596 0.27273 0.25823 0.67042
LDOF 10 0.24242 0.22732 0.19002 0.17387 0.29091 0.27677 0.69572
LDOF 13 0.27273 0.25823 0.13656 0.11935 0.31034 0.29659 0.71330
LDOF 100 0.15152 0.13460 0.10049 0.08256 0.19753 0.18153 0.76155
ODIN 12 0.21329 0.19760 0.08653 0.06832 0.22535 0.20991 0.71112
ODIN 15 0.21212 0.19641 0.11247 0.09478 0.24561 0.23057 0.71200
ODIN 39 0.16970 0.15314 0.11893 0.10136 0.20833 0.19255 0.73593
ODIN 99 0.11111 0.09339 0.10001 0.08206 0.18824 0.17205 0.76946
FastABOD 4 0.18182 0.16550 0.10978 0.09203 0.21053 0.19478 0.78936
FastABOD 6 0.18182 0.16550 0.16869 0.15211 0.25000 0.23505 0.78493
FastABOD 7 0.18182 0.16550 0.17011 0.15357 0.24490 0.22984 0.78500
FastABOD 100 0.15152 0.13460 0.11937 0.10181 0.20000 0.18405 0.79557
KDEOS 8 0.15152 0.13460 0.06064 0.04191 0.15385 0.13697 0.69572
KDEOS 21 0.12121 0.10369 0.07165 0.05314 0.13333 0.11605 0.76893
KDEOS 22 0.09091 0.07278 0.07834 0.05996 0.13514 0.11789 0.76867
KDEOS 33 0.00000 -0.01994 0.05578 0.03695 0.16279 0.14610 0.74701
LDF 11 0.09091 0.07278 0.08842 0.07024 0.17544 0.15900 0.80804
LDF 44 0.30303 0.28913 0.14178 0.12467 0.30303 0.28913 0.79735
LDF 62 0.30303 0.28913 0.19074 0.17460 0.32787 0.31447 0.79119
LDF 100 0.27273 0.25823 0.23330 0.21802 0.31111 0.29737 0.77590
INFLO 4 0.30303 0.28913 0.21300 0.19731 0.34043 0.32727 0.71782
INFLO 6 0.30303 0.28913 0.22955 0.21418 0.30303 0.28913 0.78087
INFLO 94 0.21212 0.19641 0.13763 0.12043 0.24138 0.22625 0.78528
COF 8 0.27273 0.25823 0.29235 0.27824 0.39130 0.37917 0.78323
COF 9 0.27273 0.25823 0.28870 0.27452 0.40000 0.38804 0.75884
COF 62 0.24242 0.22732 0.12549 0.10805 0.26230 0.24759 0.81300
COF 71 0.30303 0.28913 0.12360 0.10613 0.31250 0.29879 0.78865

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 1681 objects, 33 outliers (1.96%)

Download raw algorithm results (14.5 MB) Download raw algorithm evaluation table (59.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.15152 0.13452 0.09193 0.07375 0.16327 0.14651 0.83734
KNNW 1 0.18182 0.16543 0.13191 0.11452 0.21818 0.20253 0.86771
LOF 6 0.21212 0.19634 0.12645 0.10896 0.23729 0.22202 0.77440
LOF 8 0.21212 0.19634 0.15697 0.14009 0.25000 0.23498 0.81436
LOF 9 0.21212 0.19634 0.14381 0.12667 0.24000 0.22478 0.81783
SimplifiedLOF 12 0.21212 0.19634 0.18676 0.17047 0.24691 0.23183 0.84060
SimplifiedLOF 14 0.27273 0.25816 0.18004 0.16362 0.27368 0.25914 0.85056
SimplifiedLOF 16 0.21212 0.19634 0.15202 0.13504 0.32184 0.30826 0.85104
SimplifiedLOF 20 0.21212 0.19634 0.12061 0.10300 0.25641 0.24152 0.85319
LoOP 7 0.18182 0.16543 0.14276 0.12559 0.25000 0.23498 0.78727
LoOP 13 0.21212 0.19634 0.16729 0.15061 0.23529 0.21998 0.83722
LoOP 14 0.21212 0.19634 0.16932 0.15269 0.23881 0.22356 0.83471
LoOP 15 0.24242 0.22725 0.16259 0.14583 0.25000 0.23498 0.83618
LDOF 14 0.21212 0.19634 0.15560 0.13869 0.23333 0.21798 0.75787
LDOF 21 0.24242 0.22725 0.12830 0.11084 0.25397 0.23903 0.77140
LDOF 23 0.24242 0.22725 0.11352 0.09577 0.26230 0.24752 0.77264
LDOF 74 0.06061 0.04180 0.06444 0.04571 0.13846 0.12121 0.78974
ODIN 6 0.24976 0.23473 0.10597 0.08806 0.26230 0.24752 0.74474
ODIN 11 0.18182 0.16543 0.10800 0.09014 0.19231 0.17613 0.78270
ODIN 25 0.18182 0.16543 0.13076 0.11335 0.20339 0.18744 0.76061
FastABOD 3 0.18182 0.16543 0.11362 0.09587 0.19277 0.17661 0.83436
FastABOD 4 0.18182 0.16543 0.11859 0.10094 0.21176 0.19598 0.86209
FastABOD 5 0.18182 0.16543 0.11296 0.09520 0.21429 0.19855 0.85772
FastABOD 11 0.15152 0.13452 0.10683 0.08894 0.18421 0.16787 0.86616
KDEOS 17 0.09091 0.07271 0.05107 0.03207 0.11976 0.10213 0.76758
KDEOS 96 0.06061 0.04180 0.10541 0.08750 0.15385 0.13690 0.82769
KDEOS 98 0.09091 0.07271 0.10518 0.08726 0.16667 0.14998 0.82745
KDEOS 100 0.09091 0.07271 0.10397 0.08603 0.15942 0.14259 0.82793
LDF 6 0.21212 0.19634 0.17824 0.16178 0.25352 0.23857 0.86047
LDF 8 0.24242 0.22725 0.16721 0.15054 0.27451 0.25998 0.87871
INFLO 5 0.24242 0.22725 0.15853 0.14168 0.24615 0.23106 0.76329
INFLO 6 0.21212 0.19634 0.16488 0.14816 0.26087 0.24607 0.77993
INFLO 8 0.21212 0.19634 0.17414 0.15761 0.22727 0.21180 0.79494
INFLO 11 0.18182 0.16543 0.14945 0.13242 0.20690 0.19102 0.82936
COF 12 0.21212 0.19634 0.17729 0.16082 0.30000 0.28598 0.86000
COF 13 0.27273 0.25816 0.16646 0.14977 0.27778 0.26332 0.86038
COF 15 0.21212 0.19634 0.15253 0.13556 0.28889 0.27465 0.87941

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 1688 objects, 33 outliers (1.95%)

Download raw algorithm results (14.5 MB) Download raw algorithm evaluation table (61.0 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.18182 0.16550 0.10361 0.08573 0.19672 0.18070 0.76805
KNNW 1 0.15152 0.13460 0.12528 0.10784 0.19608 0.18005 0.79170
KNNW 2 0.18182 0.16550 0.11228 0.09458 0.18462 0.16836 0.78667
LOF 6 0.24242 0.22732 0.15991 0.14316 0.25000 0.23505 0.76754
LOF 8 0.24242 0.22732 0.18120 0.16487 0.28070 0.26636 0.80557
LOF 9 0.24242 0.22732 0.17434 0.15788 0.26087 0.24613 0.81111
LOF 11 0.21212 0.19641 0.18410 0.16783 0.26549 0.25084 0.80685
SimplifiedLOF 11 0.27273 0.25823 0.19303 0.17694 0.29032 0.27617 0.83290
SimplifiedLOF 13 0.30303 0.28913 0.22166 0.20614 0.33803 0.32483 0.82743
LoOP 9 0.27273 0.25823 0.18304 0.16675 0.29032 0.27617 0.79722
LoOP 11 0.27273 0.25823 0.19600 0.17997 0.30769 0.29389 0.82133
LoOP 13 0.27273 0.25823 0.20581 0.18998 0.30952 0.29576 0.81444
LDOF 20 0.27273 0.25823 0.15900 0.14223 0.30986 0.29610 0.75137
LDOF 21 0.30303 0.28913 0.16088 0.14415 0.30769 0.29389 0.75910
ODIN 11 0.17879 0.16241 0.10696 0.08916 0.18519 0.16894 0.78711
ODIN 16 0.19571 0.17967 0.11385 0.09618 0.21818 0.20259 0.73748
ODIN 25 0.15152 0.13460 0.13613 0.11890 0.23810 0.22290 0.70235
ODIN 42 0.15152 0.13460 0.15454 0.13768 0.23810 0.22290 0.70782
FastABOD 4 0.15152 0.13460 0.09697 0.07896 0.22500 0.20955 0.77731
FastABOD 5 0.18182 0.16550 0.11349 0.09581 0.19512 0.17907 0.78887
FastABOD 7 0.18182 0.16550 0.11508 0.09743 0.19355 0.17747 0.79427
FastABOD 9 0.18182 0.16550 0.11246 0.09477 0.19672 0.18070 0.79724
KDEOS 70 0.18182 0.16550 0.09871 0.08074 0.20000 0.18405 0.78277
KDEOS 87 0.24242 0.22732 0.13573 0.11849 0.26471 0.25004 0.78142
KDEOS 89 0.27273 0.25823 0.12306 0.10557 0.28125 0.26692 0.78154
LDF 6 0.21212 0.19641 0.19008 0.17393 0.26087 0.24613 0.76741
LDF 9 0.18182 0.16550 0.19220 0.17609 0.25532 0.24047 0.77332
LDF 100 0.09091 0.07278 0.07600 0.05758 0.17073 0.15420 0.81014
INFLO 7 0.27273 0.25823 0.20721 0.19140 0.32143 0.30790 0.77687
INFLO 8 0.30303 0.28913 0.19159 0.17547 0.30769 0.29389 0.76975
INFLO 11 0.24242 0.22732 0.19500 0.17895 0.30612 0.29229 0.82584
COF 5 0.27273 0.25823 0.20615 0.19032 0.28986 0.27570 0.77044
COF 6 0.27273 0.25823 0.22074 0.20520 0.30137 0.28744 0.76960
COF 9 0.21212 0.19641 0.20020 0.18425 0.25455 0.23968 0.78835

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO