Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Cardiotocography (2% of outliers version#01)

Data set related to heart diseases. It describes 3 classes: normal, suspect, or pathological. Normal patients are treated as inliers and the remaining as outliers.

Download all data set variants used (8.8 MB). You can also access the original data. (CTG.xls)

Normalized, without duplicates

This version contains 21 attributes, 1681 objects, 33 outliers (1.96%)

Download raw algorithm results (14.6 MB) Download raw algorithm evaluation table (57.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.27273 0.25816 0.25410 0.23916 0.32099 0.30739 0.86400
KNN 2 0.30303 0.28907 0.24702 0.23194 0.32877 0.31533 0.86389
KNNW 1 0.27273 0.25816 0.27020 0.25559 0.29630 0.28221 0.88193
KNNW 2 0.30303 0.28907 0.26487 0.25015 0.30303 0.28907 0.88537
KNNW 5 0.27273 0.25816 0.26127 0.24648 0.33333 0.31998 0.87107
LOF 5 0.27273 0.25816 0.24772 0.23266 0.43038 0.41897 0.90289
LOF 6 0.36364 0.35089 0.26072 0.24592 0.41463 0.40291 0.90297
LOF 7 0.33333 0.31998 0.26101 0.24621 0.35443 0.34150 0.90317
LOF 8 0.33333 0.31998 0.25844 0.24359 0.33803 0.32477 0.90389
SimplifiedLOF 6 0.36364 0.35089 0.26182 0.24704 0.40000 0.38799 0.90253
SimplifiedLOF 8 0.33333 0.31998 0.30862 0.29478 0.41667 0.40499 0.90363
SimplifiedLOF 9 0.33333 0.31998 0.31115 0.29736 0.40964 0.39782 0.90972
SimplifiedLOF 17 0.21212 0.19634 0.23490 0.21958 0.31193 0.29815 0.91084
LoOP 8 0.33333 0.31998 0.26077 0.24596 0.35644 0.34355 0.89794
LoOP 9 0.30303 0.28907 0.26963 0.25501 0.37037 0.35776 0.90641
LoOP 10 0.27273 0.25816 0.25853 0.24369 0.37736 0.36489 0.90626
LDOF 13 0.36364 0.35089 0.25066 0.23566 0.42254 0.41097 0.86325
LDOF 16 0.39394 0.38180 0.22762 0.21215 0.39394 0.38180 0.87399
LDOF 17 0.33333 0.31998 0.22586 0.21036 0.37143 0.35884 0.87553
ODIN 12 0.22571 0.21020 0.16805 0.15139 0.26667 0.25198 0.84306
ODIN 13 0.24000 0.22478 0.19212 0.17594 0.28571 0.27141 0.83779
ODIN 14 0.24727 0.23220 0.19741 0.18134 0.28571 0.27141 0.83909
ODIN 19 0.26061 0.24580 0.17960 0.16317 0.28000 0.26558 0.83698
FastABOD 4 0.27273 0.25816 0.21587 0.20016 0.31034 0.29653 0.87892
FastABOD 5 0.27273 0.25816 0.22430 0.20877 0.28070 0.26630 0.88583
KDEOS 18 0.09091 0.07271 0.08689 0.06860 0.18972 0.17350 0.87112
KDEOS 40 0.12121 0.10362 0.09041 0.07220 0.21390 0.19816 0.85095
KDEOS 41 0.12121 0.10362 0.09238 0.07420 0.20652 0.19063 0.85139
KDEOS 44 0.12121 0.10362 0.08898 0.07074 0.21429 0.19855 0.85034
LDF 6 0.21212 0.19634 0.23622 0.22093 0.25000 0.23498 0.84734
LDF 8 0.21212 0.19634 0.18553 0.16922 0.24390 0.22876 0.85056
LDF 22 0.30303 0.28907 0.19125 0.17505 0.31746 0.30379 0.80057
LDF 29 0.30303 0.28907 0.19470 0.17857 0.34615 0.33306 0.78957
INFLO 4 0.30303 0.28907 0.19562 0.17951 0.33333 0.31998 0.85622
INFLO 6 0.24242 0.22725 0.23383 0.21848 0.33613 0.32284 0.88728
INFLO 8 0.24242 0.22725 0.24363 0.22849 0.33929 0.32606 0.87450
COF 7 0.36364 0.35089 0.32462 0.31110 0.37288 0.36032 0.89949
COF 8 0.45455 0.44362 0.38014 0.36773 0.47059 0.45999 0.89651
COF 9 0.39394 0.38180 0.40592 0.39403 0.44444 0.43332 0.89311

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 1688 objects, 33 outliers (1.95%)

Download raw algorithm results (14.6 MB) Download raw algorithm evaluation table (61.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.21212 0.19641 0.12517 0.10772 0.21538 0.19974 0.76974
KNN 80 0.12121 0.10369 0.11189 0.09418 0.24242 0.22732 0.82168
KNN 100 0.12121 0.10369 0.11726 0.09966 0.22535 0.20991 0.82335
KNNW 2 0.15152 0.13460 0.11560 0.09796 0.18072 0.16439 0.75142
KNNW 4 0.12121 0.10369 0.11828 0.10070 0.17722 0.16081 0.77971
KNNW 41 0.12121 0.10369 0.09967 0.08171 0.23301 0.21772 0.81624
KNNW 99 0.12121 0.10369 0.10771 0.08992 0.21622 0.20059 0.82051
LOF 4 0.18182 0.16550 0.12171 0.10420 0.21277 0.19707 0.74379
LOF 7 0.18182 0.16550 0.14224 0.12514 0.19355 0.17747 0.77709
LOF 100 0.12121 0.10369 0.11149 0.09377 0.21359 0.19791 0.85414
SimplifiedLOF 8 0.18182 0.16550 0.14599 0.12896 0.22222 0.20671 0.73630
SimplifiedLOF 9 0.15152 0.13460 0.14989 0.13294 0.23256 0.21726 0.74818
SimplifiedLOF 11 0.18182 0.16550 0.14241 0.12531 0.25532 0.24047 0.77222
SimplifiedLOF 100 0.09091 0.07278 0.11183 0.09412 0.22430 0.20883 0.85519
LoOP 9 0.15152 0.13460 0.13245 0.11515 0.22222 0.20671 0.75411
LoOP 11 0.21212 0.19641 0.12006 0.10252 0.21875 0.20317 0.77182
LoOP 100 0.09091 0.07278 0.10733 0.08953 0.22000 0.20445 0.84907
LDOF 9 0.12121 0.10369 0.09766 0.07967 0.16162 0.14490 0.68879
LDOF 16 0.18182 0.16550 0.07587 0.05744 0.18182 0.16550 0.72557
LDOF 70 0.03030 0.01097 0.07982 0.06147 0.18310 0.16681 0.80623
LDOF 100 0.06061 0.04187 0.08579 0.06756 0.17241 0.15591 0.83422
ODIN 29 0.18182 0.16550 0.08747 0.06927 0.18182 0.16550 0.80326
ODIN 39 0.16667 0.15005 0.09403 0.07597 0.19444 0.17838 0.80810
ODIN 49 0.15152 0.13460 0.09616 0.07814 0.17308 0.15659 0.81705
ODIN 99 0.09091 0.07278 0.07955 0.06120 0.16092 0.14419 0.83646
FastABOD 9 0.12121 0.10369 0.09219 0.07409 0.19048 0.17433 0.78193
FastABOD 10 0.12121 0.10369 0.09279 0.07470 0.19608 0.18005 0.78526
FastABOD 100 0.09091 0.07278 0.09095 0.07283 0.20225 0.18634 0.82175
KDEOS 6 0.15152 0.13460 0.05236 0.03346 0.15190 0.13499 0.63314
KDEOS 22 0.09091 0.07278 0.06178 0.04307 0.13043 0.11310 0.72260
KDEOS 98 0.03030 0.01097 0.04622 0.02720 0.10870 0.09092 0.75939
LDF 26 0.18182 0.16550 0.10574 0.08791 0.19753 0.18153 0.83226
LDF 64 0.24242 0.22732 0.13204 0.11474 0.24242 0.22732 0.80672
LDF 83 0.18182 0.16550 0.16194 0.14523 0.29268 0.27858 0.80443
LDF 97 0.18182 0.16550 0.16944 0.15288 0.27160 0.25708 0.80227
INFLO 4 0.18182 0.16550 0.11930 0.10174 0.22222 0.20671 0.73336
INFLO 7 0.15152 0.13460 0.14956 0.13260 0.18519 0.16894 0.72710
INFLO 100 0.06061 0.04187 0.11010 0.09236 0.21154 0.19582 0.86531
COF 5 0.18182 0.16550 0.18432 0.16805 0.25641 0.24158 0.67416
COF 28 0.12121 0.10369 0.10644 0.08862 0.21118 0.19545 0.82534
COF 77 0.30303 0.28913 0.12431 0.10685 0.30303 0.28913 0.77206
COF 79 0.30303 0.28913 0.13291 0.11562 0.31746 0.30385 0.77184

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 1681 objects, 33 outliers (1.96%)

Download raw algorithm results (14.5 MB) Download raw algorithm evaluation table (59.0 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.12121 0.10362 0.17232 0.15575 0.25503 0.24012 0.87711
KNN 2 0.15152 0.13452 0.13054 0.11313 0.23952 0.22429 0.85054
KNNW 1 0.21212 0.19634 0.23126 0.21586 0.28866 0.27442 0.89793
LOF 10 0.30303 0.28907 0.20320 0.18724 0.33010 0.31668 0.86641
LOF 13 0.21212 0.19634 0.17453 0.15800 0.28302 0.26866 0.87592
SimplifiedLOF 14 0.30303 0.28907 0.18978 0.17355 0.30303 0.28907 0.86937
SimplifiedLOF 16 0.27273 0.25816 0.21962 0.20399 0.31707 0.30340 0.88427
SimplifiedLOF 18 0.30303 0.28907 0.21508 0.19937 0.33803 0.32477 0.88250
SimplifiedLOF 20 0.27273 0.25816 0.20937 0.19353 0.30137 0.28738 0.88476
LoOP 14 0.33333 0.31998 0.18691 0.17063 0.33846 0.32521 0.85597
LoOP 17 0.30303 0.28907 0.20937 0.19354 0.32258 0.30902 0.86852
LoOP 19 0.30303 0.28907 0.19967 0.18364 0.31250 0.29873 0.86888
LDOF 18 0.27273 0.25816 0.18806 0.17180 0.28986 0.27563 0.79264
LDOF 25 0.21212 0.19634 0.18076 0.16436 0.32099 0.30739 0.81888
LDOF 41 0.24242 0.22725 0.15946 0.14262 0.27160 0.25702 0.83986
ODIN 24 0.30070 0.28670 0.18619 0.16989 0.33333 0.31998 0.80040
ODIN 32 0.29091 0.27671 0.21367 0.19793 0.30769 0.29383 0.81843
ODIN 40 0.30682 0.29294 0.20812 0.19226 0.31250 0.29873 0.81758
ODIN 100 0.13333 0.11598 0.17456 0.15803 0.25287 0.23791 0.83878
FastABOD 5 0.21212 0.19634 0.20039 0.18438 0.22222 0.20665 0.87616
FastABOD 8 0.24242 0.22725 0.19758 0.18151 0.24419 0.22905 0.88138
FastABOD 12 0.15152 0.13452 0.17718 0.16071 0.25000 0.23498 0.88521
FastABOD 16 0.15152 0.13452 0.17062 0.15402 0.25862 0.24378 0.87936
KDEOS 82 0.18182 0.16543 0.14498 0.12786 0.19512 0.17900 0.81669
KDEOS 99 0.15152 0.13452 0.15150 0.13451 0.21918 0.20354 0.82688
LDF 8 0.27273 0.25816 0.21353 0.19778 0.32653 0.31304 0.84508
LDF 9 0.24242 0.22725 0.21380 0.19806 0.30769 0.29383 0.85893
LDF 10 0.18182 0.16543 0.19779 0.18172 0.25000 0.23498 0.86809
INFLO 10 0.27273 0.25816 0.22201 0.20643 0.34884 0.33580 0.85148
INFLO 12 0.27273 0.25816 0.19216 0.17598 0.32000 0.30638 0.85400
INFLO 16 0.30303 0.28907 0.19082 0.17461 0.32787 0.31441 0.81642
COF 13 0.12121 0.10362 0.17242 0.15585 0.22581 0.21030 0.86904
COF 22 0.27273 0.25816 0.19125 0.17505 0.33333 0.31998 0.85010
COF 23 0.30303 0.28907 0.20389 0.18794 0.31579 0.30209 0.84172
COF 25 0.30303 0.28907 0.21703 0.20135 0.30769 0.29383 0.81748

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 1688 objects, 33 outliers (1.95%)

Download raw algorithm results (14.6 MB) Download raw algorithm evaluation table (60.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.12121 0.10369 0.09198 0.07388 0.19149 0.17537 0.82749
KNN 3 0.15152 0.13460 0.08867 0.07050 0.18824 0.17205 0.82611
KNN 53 0.03030 0.01097 0.08024 0.06190 0.21429 0.19862 0.83642
KNN 97 0.03030 0.01097 0.08262 0.06433 0.18792 0.17173 0.84702
KNNW 1 0.09091 0.07278 0.07797 0.05958 0.14035 0.12321 0.77440
KNNW 4 0.09091 0.07278 0.08820 0.07002 0.18421 0.16794 0.83785
KNNW 19 0.03030 0.01097 0.07837 0.05999 0.17333 0.15685 0.84427
KNNW 89 0.03030 0.01097 0.08168 0.06337 0.20408 0.18821 0.84343
LOF 8 0.24242 0.22732 0.12975 0.11240 0.26230 0.24759 0.79751
LOF 10 0.24242 0.22732 0.14181 0.12470 0.27119 0.25665 0.81895
LOF 11 0.24242 0.22732 0.14612 0.12909 0.26230 0.24759 0.83259
LOF 100 0.09091 0.07278 0.09463 0.07658 0.19580 0.17977 0.87084
SimplifiedLOF 15 0.27273 0.25823 0.16594 0.14931 0.30508 0.29123 0.80969
SimplifiedLOF 20 0.30303 0.28913 0.14163 0.12451 0.30986 0.29610 0.83063
SimplifiedLOF 21 0.27273 0.25823 0.14054 0.12340 0.31579 0.30215 0.83415
SimplifiedLOF 98 0.15152 0.13460 0.09463 0.07658 0.18987 0.17372 0.86053
LoOP 15 0.27273 0.25823 0.15106 0.13413 0.28169 0.26737 0.79323
LoOP 16 0.27273 0.25823 0.15237 0.13546 0.29032 0.27617 0.79960
LoOP 97 0.15152 0.13460 0.09725 0.07925 0.22449 0.20903 0.85207
LDOF 14 0.12121 0.10369 0.12386 0.10639 0.14865 0.13167 0.70462
LDOF 20 0.18182 0.16550 0.10492 0.08707 0.25000 0.23505 0.72508
LDOF 97 0.09091 0.07278 0.09754 0.07954 0.22222 0.20671 0.86419
ODIN 30 0.22054 0.20500 0.15473 0.13788 0.28571 0.27147 0.82066
ODIN 35 0.23990 0.22474 0.15170 0.13479 0.25455 0.23968 0.82746
ODIN 98 0.15152 0.13460 0.20965 0.19389 0.21739 0.20179 0.86971
FastABOD 3 0.12121 0.10369 0.06103 0.04231 0.12500 0.10755 0.78292
FastABOD 8 0.12121 0.10369 0.08335 0.06508 0.16250 0.14580 0.83589
FastABOD 53 0.09091 0.07278 0.07637 0.05796 0.17486 0.15841 0.84924
FastABOD 100 0.06061 0.04187 0.07712 0.05872 0.16766 0.15107 0.85330
KDEOS 83 0.15152 0.13460 0.09831 0.08033 0.15152 0.13460 0.79815
KDEOS 97 0.12121 0.10369 0.10820 0.09042 0.16438 0.14772 0.81573
KDEOS 98 0.12121 0.10369 0.10483 0.08698 0.16901 0.15244 0.81721
KDEOS 99 0.12121 0.10369 0.10369 0.08582 0.15584 0.13901 0.81745
LDF 8 0.18182 0.16550 0.15487 0.13802 0.23913 0.22396 0.81591
LDF 10 0.21212 0.19641 0.15133 0.13440 0.23881 0.22363 0.85680
LDF 83 0.06061 0.04187 0.10943 0.09167 0.25688 0.24206 0.87441
LDF 98 0.09091 0.07278 0.11499 0.09734 0.25243 0.23752 0.87998
INFLO 11 0.21212 0.19641 0.14344 0.12636 0.23913 0.22396 0.78991
INFLO 12 0.24242 0.22732 0.12757 0.11017 0.25455 0.23968 0.77570
INFLO 13 0.24242 0.22732 0.12852 0.11114 0.25806 0.24327 0.78381
INFLO 100 0.15152 0.13460 0.09963 0.08167 0.21374 0.19806 0.87209
COF 15 0.18182 0.16550 0.19618 0.18015 0.27083 0.25629 0.81752
COF 16 0.21212 0.19641 0.21916 0.20359 0.27027 0.25572 0.83041
COF 24 0.18182 0.16550 0.16045 0.14371 0.21818 0.20259 0.86945
COF 25 0.24242 0.22732 0.15742 0.14062 0.24615 0.23112 0.85801

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO