Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Cardiotocography (2% of outliers version#08)

Data set related to heart diseases. It describes 3 classes: normal, suspect, or pathological. Normal patients are treated as inliers and the remaining as outliers.

Download all data set variants used (8.8 MB). You can also access the original data. (CTG.xls)

Normalized, without duplicates

This version contains 21 attributes, 1681 objects, 33 outliers (1.96%)

Download raw algorithm results (14.6 MB) Download raw algorithm evaluation table (56.2 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.27273 0.25816 0.15825 0.14140 0.29508 0.28097 0.71712
KNN 100 0.18182 0.16543 0.16182 0.14503 0.21429 0.19855 0.75489
KNNW 3 0.24242 0.22725 0.16577 0.14906 0.29630 0.28221 0.71970
KNNW 4 0.27273 0.25816 0.16696 0.15028 0.28571 0.27141 0.71891
KNNW 100 0.18182 0.16543 0.15655 0.13967 0.21333 0.19758 0.74542
LOF 4 0.33333 0.31998 0.17703 0.16055 0.37681 0.36433 0.72834
LOF 7 0.27273 0.25816 0.18662 0.17033 0.28571 0.27141 0.76543
LOF 100 0.18182 0.16543 0.14038 0.12317 0.22222 0.20665 0.82475
SimplifiedLOF 7 0.36364 0.35089 0.20858 0.19273 0.39286 0.38070 0.77378
SimplifiedLOF 8 0.36364 0.35089 0.21149 0.19570 0.40000 0.38799 0.78378
SimplifiedLOF 100 0.18182 0.16543 0.14829 0.13123 0.22727 0.21180 0.83061
LoOP 8 0.36364 0.35089 0.18254 0.16617 0.37500 0.36248 0.79904
LoOP 9 0.33333 0.31998 0.18827 0.17202 0.36667 0.35398 0.80621
LoOP 100 0.18182 0.16543 0.13572 0.11841 0.22727 0.21180 0.82241
LDOF 11 0.33333 0.31998 0.17764 0.16117 0.33846 0.32521 0.77995
LDOF 99 0.18182 0.16543 0.11918 0.10154 0.21818 0.20253 0.81625
ODIN 19 0.20856 0.19271 0.15295 0.13599 0.23529 0.21998 0.77585
ODIN 31 0.22511 0.20959 0.11615 0.09845 0.23377 0.21842 0.77855
ODIN 33 0.21970 0.20407 0.10150 0.08351 0.24658 0.23149 0.77834
ODIN 99 0.16162 0.14483 0.10830 0.09044 0.20833 0.19248 0.79902
FastABOD 4 0.18182 0.16543 0.11798 0.10032 0.22535 0.20984 0.77087
FastABOD 5 0.18182 0.16543 0.12552 0.10801 0.20290 0.18694 0.75614
FastABOD 6 0.21212 0.19634 0.09562 0.07751 0.21538 0.19967 0.73514
KDEOS 16 0.12121 0.10362 0.07933 0.06090 0.16000 0.14318 0.77607
KDEOS 18 0.09091 0.07271 0.06800 0.04934 0.13793 0.12067 0.77754
KDEOS 50 0.15152 0.13452 0.05366 0.03471 0.15385 0.13690 0.72862
KDEOS 62 0.12121 0.10362 0.05680 0.03791 0.17391 0.15737 0.74049
LDF 7 0.15152 0.13452 0.14348 0.12633 0.22222 0.20665 0.72387
LDF 45 0.21212 0.19634 0.08796 0.06970 0.23333 0.21798 0.79764
LDF 64 0.24242 0.22725 0.09177 0.07358 0.24615 0.23106 0.78457
LDF 76 0.24242 0.22725 0.10318 0.08522 0.28571 0.27141 0.78163
INFLO 7 0.24242 0.22725 0.18910 0.17286 0.31169 0.29791 0.83297
INFLO 8 0.27273 0.25816 0.18363 0.16728 0.30588 0.29198 0.83646
INFLO 10 0.15152 0.13452 0.14155 0.12436 0.23377 0.21842 0.85566
COF 7 0.33333 0.31998 0.23921 0.22397 0.39286 0.38070 0.72294
COF 8 0.36364 0.35089 0.26299 0.24823 0.39130 0.37912 0.71071
COF 50 0.24242 0.22725 0.13971 0.12249 0.26471 0.24998 0.76736

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 1688 objects, 33 outliers (1.95%)

Download raw algorithm results (14.6 MB) Download raw algorithm evaluation table (58.2 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.30303 0.28913 0.21568 0.20004 0.32258 0.30907 0.75641
KNN 88 0.21212 0.19641 0.20431 0.18844 0.25882 0.24404 0.76527
KNNW 1 0.24242 0.22732 0.17786 0.16147 0.31818 0.30459 0.74487
KNNW 2 0.27273 0.25823 0.18993 0.17378 0.30435 0.29048 0.76109
KNNW 3 0.27273 0.25823 0.21041 0.19466 0.30435 0.29048 0.75479
KNNW 4 0.30303 0.28913 0.20410 0.18823 0.30769 0.29389 0.74822
LOF 6 0.30303 0.28913 0.18031 0.16396 0.31250 0.29879 0.74600
LOF 7 0.27273 0.25823 0.21841 0.20283 0.30986 0.29610 0.73617
LOF 99 0.15152 0.13460 0.15185 0.13494 0.23656 0.22134 0.78068
SimplifiedLOF 8 0.30303 0.28913 0.20975 0.19399 0.32836 0.31497 0.77878
SimplifiedLOF 9 0.33333 0.32004 0.23056 0.21522 0.33333 0.32004 0.77759
SimplifiedLOF 10 0.30303 0.28913 0.22257 0.20707 0.33962 0.32645 0.77541
LoOP 10 0.33333 0.32004 0.18989 0.17374 0.38235 0.37004 0.77011
LDOF 8 0.18182 0.16550 0.09201 0.07391 0.19512 0.17907 0.78673
LDOF 9 0.24242 0.22732 0.11548 0.09784 0.25000 0.23505 0.78367
LDOF 34 0.21212 0.19641 0.13181 0.11450 0.30435 0.29048 0.72762
LDOF 49 0.21212 0.19641 0.14432 0.12726 0.23881 0.22363 0.71634
ODIN 41 0.25589 0.24106 0.11144 0.09372 0.27397 0.25950 0.74946
ODIN 42 0.26061 0.24586 0.11360 0.09593 0.27397 0.25950 0.75209
ODIN 94 0.21212 0.19641 0.13810 0.12092 0.25532 0.24047 0.77925
FastABOD 5 0.18182 0.16550 0.12378 0.10631 0.20896 0.19318 0.78742
FastABOD 9 0.21212 0.19641 0.14974 0.13278 0.23423 0.21897 0.78229
FastABOD 25 0.24242 0.22732 0.13021 0.11287 0.25287 0.23798 0.76565
FastABOD 66 0.15152 0.13460 0.12873 0.11136 0.27500 0.26054 0.76563
KDEOS 11 0.06061 0.04187 0.07350 0.05503 0.10213 0.08422 0.71975
KDEOS 13 0.09091 0.07278 0.05046 0.03152 0.10145 0.08353 0.73716
KDEOS 15 0.09091 0.07278 0.05279 0.03390 0.11184 0.09413 0.74802
KDEOS 99 0.09091 0.07278 0.06634 0.04772 0.15152 0.13460 0.74296
LDF 4 0.24242 0.22732 0.19850 0.18252 0.31111 0.29737 0.69897
LDF 11 0.15152 0.13460 0.09886 0.08089 0.20513 0.18928 0.76995
LDF 55 0.27273 0.25823 0.15165 0.13473 0.27692 0.26251 0.75717
INFLO 6 0.27273 0.25823 0.13950 0.12234 0.27692 0.26251 0.77746
INFLO 8 0.24242 0.22732 0.15538 0.13854 0.33333 0.32004 0.74943
INFLO 31 0.21212 0.19641 0.16627 0.14965 0.28571 0.27147 0.72227
INFLO 92 0.21212 0.19641 0.14135 0.12423 0.25263 0.23773 0.79535
COF 7 0.27273 0.25823 0.20375 0.18788 0.31579 0.30215 0.76208
COF 9 0.36364 0.35095 0.28023 0.26588 0.37037 0.35782 0.74941
COF 11 0.30303 0.28913 0.31249 0.29878 0.39130 0.37917 0.74842
COF 15 0.33333 0.32004 0.28755 0.27334 0.40741 0.39559 0.73784

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 1681 objects, 33 outliers (1.96%)

Download raw algorithm results (14.5 MB) Download raw algorithm evaluation table (56.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.12121 0.10362 0.12263 0.10506 0.19048 0.17427 0.74815
KNN 2 0.18182 0.16543 0.09874 0.08069 0.19672 0.18064 0.74586
KNNW 1 0.15152 0.13452 0.14545 0.12833 0.21053 0.19472 0.71134
KNNW 2 0.15152 0.13452 0.14676 0.12968 0.21053 0.19472 0.74857
KNNW 3 0.12121 0.10362 0.12575 0.10825 0.20000 0.18398 0.75309
LOF 6 0.30303 0.28907 0.16543 0.14872 0.31746 0.30379 0.77567
LOF 7 0.30303 0.28907 0.17648 0.15999 0.34483 0.33171 0.80538
LOF 13 0.21212 0.19634 0.20179 0.18580 0.23377 0.21842 0.79889
LOF 100 0.12121 0.10362 0.07951 0.06107 0.16176 0.14498 0.81217
SimplifiedLOF 10 0.27273 0.25816 0.16826 0.15161 0.28571 0.27141 0.78332
SimplifiedLOF 11 0.24242 0.22725 0.18372 0.16738 0.30380 0.28986 0.78473
SimplifiedLOF 18 0.21212 0.19634 0.20194 0.18596 0.26966 0.25504 0.81506
SimplifiedLOF 20 0.21212 0.19634 0.19988 0.18386 0.26829 0.25364 0.81726
LoOP 7 0.24242 0.22725 0.14546 0.12834 0.24615 0.23106 0.75923
LoOP 12 0.24242 0.22725 0.15822 0.14136 0.29730 0.28323 0.79911
LoOP 16 0.21212 0.19634 0.19373 0.17758 0.24658 0.23149 0.81120
LoOP 18 0.18182 0.16543 0.18505 0.16873 0.25287 0.23791 0.81528
LDOF 17 0.24242 0.22725 0.16699 0.15031 0.26667 0.25198 0.74665
LDOF 48 0.24242 0.22725 0.13696 0.11968 0.29091 0.27671 0.77392
LDOF 91 0.18182 0.16543 0.11276 0.09500 0.20588 0.18998 0.80369
ODIN 11 0.15303 0.13607 0.08698 0.06869 0.15385 0.13690 0.77151
ODIN 29 0.16212 0.14534 0.11901 0.10137 0.20000 0.18398 0.76223
ODIN 97 0.15152 0.13452 0.15526 0.13834 0.20202 0.18604 0.76799
ODIN 99 0.13333 0.11598 0.15027 0.13325 0.20833 0.19248 0.76899
FastABOD 3 0.24242 0.22725 0.12415 0.10662 0.24615 0.23106 0.80606
FastABOD 4 0.24242 0.22725 0.18166 0.16527 0.26667 0.25198 0.77872
KDEOS 58 0.12121 0.10362 0.06770 0.04903 0.13043 0.11302 0.74928
KDEOS 63 0.12121 0.10362 0.07697 0.05849 0.13333 0.11598 0.75018
KDEOS 99 0.09091 0.07271 0.06996 0.05134 0.15929 0.14246 0.77743
KDEOS 100 0.09091 0.07271 0.06870 0.05005 0.14894 0.13189 0.77824
LDF 7 0.33333 0.31998 0.20702 0.19114 0.39286 0.38070 0.80395
LDF 9 0.36364 0.35089 0.23799 0.22273 0.38710 0.37482 0.79808
LDF 98 0.12121 0.10362 0.07660 0.05811 0.15789 0.14103 0.82254
INFLO 5 0.27273 0.25816 0.16401 0.14727 0.31034 0.29653 0.76177
INFLO 13 0.18182 0.16543 0.18978 0.17355 0.21818 0.20253 0.79957
COF 12 0.24242 0.22725 0.19827 0.18221 0.29333 0.27918 0.75259
COF 13 0.27273 0.25816 0.19568 0.17958 0.28947 0.27525 0.77300
COF 15 0.24242 0.22725 0.21129 0.19549 0.26667 0.25198 0.77843
COF 16 0.24242 0.22725 0.20316 0.18720 0.27586 0.26136 0.78560

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 1688 objects, 33 outliers (1.95%)

Download raw algorithm results (14.6 MB) Download raw algorithm evaluation table (59.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.21212 0.19641 0.15392 0.13705 0.28205 0.26774 0.76271
KNN 2 0.24242 0.22732 0.12156 0.10404 0.26471 0.25004 0.74611
KNNW 2 0.21212 0.19641 0.15839 0.14161 0.23881 0.22363 0.77803
KNNW 5 0.15152 0.13460 0.12132 0.10380 0.25581 0.24098 0.76151
LOF 5 0.36364 0.35095 0.22234 0.20684 0.40678 0.39495 0.76549
LOF 8 0.33333 0.32004 0.23132 0.21599 0.36066 0.34791 0.79037
LOF 10 0.27273 0.25823 0.16250 0.14580 0.30508 0.29123 0.81371
SimplifiedLOF 7 0.30303 0.28913 0.21967 0.20411 0.36620 0.35356 0.78804
SimplifiedLOF 8 0.33333 0.32004 0.21099 0.19525 0.36364 0.35095 0.78314
SimplifiedLOF 13 0.30303 0.28913 0.20863 0.19285 0.41096 0.39921 0.80762
SimplifiedLOF 14 0.30303 0.28913 0.18848 0.17230 0.39080 0.37866 0.80888
LoOP 7 0.30303 0.28913 0.22441 0.20895 0.34211 0.32899 0.78467
LoOP 9 0.27273 0.25823 0.21226 0.19655 0.39474 0.38267 0.77888
LoOP 13 0.36364 0.35095 0.18798 0.17179 0.36923 0.35665 0.79880
LoOP 14 0.33333 0.32004 0.18769 0.17149 0.36111 0.34837 0.80387
LDOF 5 0.18182 0.16550 0.12075 0.10322 0.21818 0.20259 0.77576
LDOF 13 0.27273 0.25823 0.17786 0.16147 0.27957 0.26520 0.75814
LDOF 16 0.27273 0.25823 0.19952 0.18356 0.32500 0.31154 0.77204
ODIN 12 0.26630 0.25167 0.15931 0.14255 0.30189 0.28797 0.77936
ODIN 14 0.24242 0.22732 0.15712 0.14031 0.29787 0.28387 0.78905
ODIN 92 0.18182 0.16550 0.16613 0.14950 0.23377 0.21849 0.75112
FastABOD 5 0.21212 0.19641 0.14938 0.13242 0.22951 0.21414 0.80595
FastABOD 6 0.21212 0.19641 0.13468 0.11742 0.23729 0.22208 0.79561
KDEOS 65 0.18182 0.16550 0.08281 0.06452 0.18462 0.16836 0.76906
KDEOS 89 0.15152 0.13460 0.08976 0.07161 0.17699 0.16058 0.77750
KDEOS 95 0.09091 0.07278 0.08334 0.06506 0.18868 0.17250 0.78145
KDEOS 96 0.06061 0.04187 0.08199 0.06369 0.19608 0.18005 0.78136
LDF 2 0.24242 0.22732 0.17747 0.16107 0.26230 0.24759 0.72333
LDF 9 0.24242 0.22732 0.14081 0.12368 0.26667 0.25204 0.79782
INFLO 3 0.27273 0.25823 0.17998 0.16363 0.29508 0.28103 0.80946
INFLO 5 0.27273 0.25823 0.24538 0.23033 0.32941 0.31604 0.76673
INFLO 8 0.33333 0.32004 0.22856 0.21318 0.38235 0.37004 0.78181
INFLO 9 0.36364 0.35095 0.22239 0.20688 0.38095 0.36861 0.79037
COF 7 0.24242 0.22732 0.16374 0.14706 0.29630 0.28226 0.78221
COF 10 0.24242 0.22732 0.14934 0.13238 0.27350 0.25902 0.78295
COF 14 0.18182 0.16550 0.18327 0.16699 0.23810 0.22290 0.76952

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO