Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Cardiotocography (10% of outliers version#05)

Data set related to heart diseases. It describes 3 classes: normal, suspect, or pathological. Normal patients are treated as inliers and the remaining as outliers.

Download all data set variants used (8.8 MB). You can also access the original data. (CTG.xls)

Normalized, without duplicates

This version contains 21 attributes, 1831 objects, 183 outliers (9.99%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (72.0 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 81 0.32787 0.25323 0.33141 0.25717 0.36923 0.29919 0.72679
KNN 93 0.33333 0.25930 0.33927 0.26590 0.36254 0.29175 0.73298
KNN 98 0.33333 0.25930 0.34124 0.26809 0.36364 0.29297 0.73376
KNN 100 0.33333 0.25930 0.34152 0.26840 0.36364 0.29297 0.73362
KNNW 86 0.33333 0.25930 0.29517 0.21690 0.33333 0.25930 0.69026
KNNW 98 0.32787 0.25323 0.30194 0.22442 0.33514 0.26131 0.69655
KNNW 100 0.32240 0.24716 0.30257 0.22512 0.33514 0.26131 0.69752
LOF 4 0.26230 0.18038 0.20029 0.11149 0.26593 0.18441 0.59240
LOF 100 0.26230 0.18038 0.23409 0.14905 0.31579 0.23981 0.74627
SimplifiedLOF 9 0.28415 0.20466 0.24094 0.15665 0.28814 0.20909 0.64229
SimplifiedLOF 11 0.26230 0.18038 0.24505 0.16122 0.29646 0.21834 0.64469
SimplifiedLOF 22 0.26776 0.18645 0.22534 0.13932 0.30769 0.23082 0.64615
SimplifiedLOF 100 0.25137 0.16824 0.20807 0.12013 0.27143 0.19053 0.68146
LoOP 8 0.27869 0.19859 0.21614 0.12910 0.28490 0.20549 0.64132
LoOP 10 0.27869 0.19859 0.22617 0.14024 0.28283 0.20319 0.64486
LoOP 20 0.26230 0.18038 0.21176 0.12423 0.29932 0.22151 0.63284
LoOP 100 0.24590 0.16216 0.20058 0.11180 0.26519 0.18360 0.66990
LDOF 23 0.25683 0.17431 0.21833 0.13153 0.28183 0.20209 0.64200
LDOF 48 0.26776 0.18645 0.20549 0.11727 0.30407 0.22679 0.63652
LDOF 53 0.27869 0.19859 0.20283 0.11431 0.29126 0.21256 0.63470
LDOF 100 0.24590 0.16216 0.19907 0.11013 0.27857 0.19846 0.65012
ODIN 8 0.22824 0.14254 0.15539 0.06160 0.23910 0.15460 0.60312
ODIN 100 0.20947 0.12169 0.19172 0.10197 0.28004 0.20010 0.70413
FastABOD 14 0.26776 0.18645 0.20269 0.11416 0.27861 0.19850 0.64779
FastABOD 100 0.25683 0.17431 0.20981 0.12207 0.31095 0.23444 0.66505
KDEOS 15 0.20219 0.11359 0.16026 0.06701 0.23468 0.14970 0.61245
KDEOS 17 0.20765 0.11966 0.16081 0.06762 0.23286 0.14768 0.61109
KDEOS 20 0.19126 0.10145 0.16577 0.07314 0.23429 0.14926 0.60939
KDEOS 26 0.16393 0.07109 0.14959 0.05516 0.23878 0.15425 0.60035
LDF 96 0.36612 0.29573 0.33099 0.25670 0.38769 0.31970 0.77320
LDF 98 0.37705 0.30787 0.33448 0.26058 0.38769 0.31970 0.77356
LDF 100 0.37705 0.30787 0.33740 0.26382 0.38636 0.31822 0.77394
INFLO 9 0.27322 0.19252 0.22426 0.13812 0.28821 0.20917 0.65243
INFLO 100 0.25683 0.17431 0.21676 0.12978 0.28952 0.21063 0.71070
COF 12 0.26776 0.18645 0.23322 0.14808 0.29299 0.21449 0.62080
COF 15 0.25683 0.17431 0.24572 0.16197 0.26984 0.18876 0.62147
COF 100 0.16940 0.07717 0.19130 0.10150 0.25240 0.16938 0.63109

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 1838 objects, 183 outliers (9.96%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (73.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 98 0.42077 0.35672 0.40826 0.34283 0.42473 0.36112 0.77989
KNN 99 0.42077 0.35672 0.40901 0.34367 0.42588 0.36239 0.78031
KNN 100 0.42077 0.35672 0.40960 0.34432 0.42588 0.36239 0.78056
KNNW 91 0.37705 0.30817 0.34715 0.27496 0.38286 0.31462 0.74923
KNNW 98 0.37705 0.30817 0.35232 0.28071 0.38690 0.31911 0.75204
KNNW 100 0.37705 0.30817 0.35326 0.28175 0.38690 0.31911 0.75285
LOF 92 0.31148 0.23534 0.24067 0.15671 0.34943 0.27749 0.76995
LOF 98 0.31148 0.23534 0.25003 0.16710 0.36140 0.29078 0.77479
LOF 100 0.31148 0.23534 0.25318 0.17060 0.35876 0.28786 0.77656
SimplifiedLOF 100 0.26776 0.18679 0.20180 0.11354 0.32124 0.24619 0.71858
LoOP 93 0.24590 0.16252 0.18547 0.09541 0.30323 0.22618 0.69592
LoOP 100 0.24044 0.15645 0.18975 0.10016 0.30599 0.22925 0.70217
LDOF 91 0.20765 0.12004 0.16790 0.07589 0.30561 0.22883 0.65911
LDOF 92 0.22404 0.13824 0.16826 0.07629 0.30443 0.22752 0.66062
LDOF 100 0.22404 0.13824 0.17143 0.07981 0.29796 0.22033 0.66788
ODIN 100 0.21639 0.12975 0.18875 0.09904 0.31098 0.23479 0.72555
FastABOD 40 0.28415 0.20500 0.19277 0.10351 0.29091 0.21250 0.65711
FastABOD 82 0.27322 0.19286 0.19753 0.10880 0.29684 0.21909 0.66647
FastABOD 100 0.27322 0.19286 0.20091 0.11255 0.29469 0.21670 0.66993
KDEOS 12 0.16393 0.07149 0.13356 0.03775 0.19613 0.10724 0.53839
KDEOS 20 0.12022 0.02294 0.13852 0.04326 0.19923 0.11069 0.55893
KDEOS 100 0.12568 0.02901 0.12675 0.03019 0.22372 0.13789 0.60371
LDF 98 0.42077 0.35672 0.39383 0.32680 0.42192 0.35800 0.78984
LDF 99 0.42077 0.35672 0.39868 0.33219 0.42683 0.36345 0.79072
LDF 100 0.41530 0.35065 0.40003 0.33369 0.42938 0.36628 0.79049
INFLO 87 0.25137 0.16859 0.19289 0.10364 0.31527 0.23956 0.70684
INFLO 93 0.24044 0.15645 0.19802 0.10935 0.33213 0.25828 0.71101
INFLO 95 0.24590 0.16252 0.19979 0.11131 0.32787 0.25355 0.71594
INFLO 99 0.25137 0.16859 0.20318 0.11507 0.32442 0.24972 0.71543
COF 55 0.31148 0.23534 0.23510 0.15052 0.32105 0.24598 0.64519
COF 61 0.31694 0.24141 0.24524 0.16179 0.31781 0.24238 0.64779
COF 84 0.26776 0.18679 0.28862 0.20996 0.28947 0.21091 0.67468
COF 100 0.26776 0.18679 0.30563 0.22885 0.29344 0.21531 0.67196

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 1831 objects, 183 outliers (9.99%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (71.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 51 0.31694 0.24109 0.22174 0.13532 0.32133 0.24597 0.71824
KNN 97 0.31148 0.23502 0.22918 0.14359 0.32718 0.25246 0.73040
KNN 100 0.31148 0.23502 0.22916 0.14357 0.32979 0.25536 0.73101
KNNW 1 0.24044 0.15609 0.22100 0.13450 0.26685 0.18544 0.64899
KNNW 83 0.29508 0.21681 0.21746 0.13056 0.31731 0.24150 0.71734
KNNW 100 0.29508 0.21681 0.21990 0.13327 0.31854 0.24287 0.72040
LOF 9 0.27869 0.19859 0.24107 0.15680 0.28571 0.20640 0.66265
LOF 89 0.28415 0.20466 0.22427 0.13813 0.34979 0.27759 0.74794
LOF 98 0.29508 0.21681 0.22786 0.14212 0.34455 0.27177 0.75385
LOF 100 0.29508 0.21681 0.22872 0.14308 0.34137 0.26823 0.75560
SimplifiedLOF 15 0.28962 0.21073 0.24215 0.15799 0.30972 0.23307 0.67585
SimplifiedLOF 45 0.24044 0.15609 0.21086 0.12324 0.33528 0.26147 0.69346
SimplifiedLOF 100 0.27869 0.19859 0.21376 0.12646 0.33100 0.25671 0.71144
LoOP 15 0.25137 0.16824 0.22320 0.13694 0.31562 0.23962 0.66275
LoOP 17 0.27322 0.19252 0.22120 0.13472 0.31379 0.23759 0.67033
LoOP 82 0.25683 0.17431 0.21187 0.12435 0.32483 0.24985 0.69361
LoOP 100 0.25683 0.17431 0.21320 0.12583 0.32159 0.24626 0.69827
LDOF 20 0.29508 0.21681 0.23232 0.14708 0.32057 0.24513 0.62800
LDOF 23 0.31148 0.23502 0.22120 0.13472 0.31436 0.23823 0.62959
LDOF 100 0.26230 0.18038 0.22094 0.13443 0.32470 0.24971 0.70847
ODIN 78 0.27413 0.19353 0.22943 0.14386 0.33218 0.25802 0.71019
ODIN 98 0.26448 0.18281 0.23781 0.15318 0.34694 0.27442 0.72239
ODIN 99 0.26464 0.18298 0.23895 0.15444 0.34497 0.27223 0.72357
ODIN 100 0.25956 0.17734 0.23919 0.15471 0.34483 0.27207 0.72353
FastABOD 67 0.25683 0.17431 0.21056 0.12290 0.27435 0.19378 0.66770
FastABOD 96 0.25683 0.17431 0.21178 0.12425 0.27704 0.19676 0.67047
FastABOD 100 0.25683 0.17431 0.21189 0.12438 0.27547 0.19502 0.67072
KDEOS 19 0.19126 0.10145 0.15728 0.06370 0.24867 0.16524 0.62744
KDEOS 99 0.18033 0.08931 0.17271 0.08084 0.28290 0.20327 0.67656
KDEOS 100 0.18579 0.09538 0.17290 0.08105 0.28230 0.20260 0.67750
LDF 9 0.30601 0.22895 0.28980 0.21094 0.33747 0.26390 0.70894
LDF 11 0.32240 0.24716 0.26684 0.18543 0.34913 0.27685 0.70632
LDF 100 0.27869 0.19859 0.24032 0.15596 0.34518 0.27246 0.77885
INFLO 9 0.26776 0.18645 0.22486 0.13878 0.28226 0.20256 0.63648
INFLO 66 0.24044 0.15609 0.21068 0.12303 0.32967 0.25523 0.70171
INFLO 88 0.27322 0.19252 0.21491 0.12773 0.32013 0.24464 0.70829
INFLO 100 0.27322 0.19252 0.21863 0.13186 0.32258 0.24736 0.71640
COF 47 0.22951 0.14395 0.23219 0.14693 0.29735 0.21933 0.64922
COF 60 0.25137 0.16824 0.21998 0.13336 0.31780 0.24204 0.65577
COF 75 0.27869 0.19859 0.19947 0.11058 0.30404 0.22676 0.65284
COF 99 0.24590 0.16216 0.18923 0.09920 0.30180 0.22427 0.66065

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 1838 objects, 183 outliers (9.96%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (72.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 78 0.38251 0.31424 0.27821 0.19839 0.41327 0.34839 0.76106
KNN 91 0.39344 0.32637 0.28033 0.20075 0.41117 0.34606 0.76459
KNN 100 0.38798 0.32030 0.28252 0.20319 0.41117 0.34606 0.76663
KNNW 80 0.35519 0.28389 0.26520 0.18395 0.37168 0.30221 0.75608
KNNW 91 0.35519 0.28389 0.26757 0.18658 0.38344 0.31527 0.75748
KNNW 100 0.35519 0.28389 0.26949 0.18872 0.38307 0.31486 0.75884
LOF 91 0.31694 0.24141 0.26646 0.18535 0.40000 0.33366 0.77967
LOF 96 0.32787 0.25355 0.26907 0.18825 0.39636 0.32961 0.78277
LOF 100 0.32787 0.25355 0.27186 0.19134 0.39551 0.32866 0.78603
SimplifiedLOF 93 0.29508 0.21714 0.24611 0.16275 0.36923 0.29948 0.74402
SimplifiedLOF 94 0.28962 0.21107 0.24663 0.16333 0.37109 0.30155 0.74441
SimplifiedLOF 100 0.28415 0.20500 0.24643 0.16311 0.37380 0.30455 0.74643
LoOP 99 0.28415 0.20500 0.24645 0.16312 0.37037 0.30075 0.73215
LoOP 100 0.29508 0.21714 0.24640 0.16307 0.36842 0.29858 0.73256
LDOF 90 0.28415 0.20500 0.23936 0.15525 0.35915 0.28829 0.73093
LDOF 97 0.27869 0.19893 0.24426 0.16069 0.36298 0.29254 0.73578
LDOF 100 0.27322 0.19286 0.24644 0.16311 0.36264 0.29216 0.73808
ODIN 99 0.29235 0.21410 0.26322 0.18175 0.37021 0.30057 0.73797
ODIN 100 0.29290 0.21471 0.26320 0.18173 0.37118 0.30165 0.73880
FastABOD 4 0.21858 0.13217 0.19617 0.10729 0.27169 0.19115 0.64258
FastABOD 6 0.21858 0.13217 0.21290 0.12586 0.26396 0.18257 0.64401
FastABOD 63 0.25137 0.16859 0.20778 0.12018 0.25722 0.17509 0.64470
FastABOD 99 0.25137 0.16859 0.20762 0.12000 0.26133 0.17966 0.64666
KDEOS 28 0.17486 0.08362 0.13884 0.04361 0.22018 0.13396 0.61060
KDEOS 99 0.14754 0.05328 0.16369 0.07122 0.28041 0.20084 0.68369
KDEOS 100 0.15301 0.05935 0.16363 0.07114 0.28139 0.20193 0.68463
LDF 99 0.37158 0.30210 0.29901 0.22150 0.40685 0.34127 0.81043
LDF 100 0.37705 0.30817 0.29958 0.22213 0.40685 0.34127 0.81146
INFLO 78 0.28415 0.20500 0.24204 0.15823 0.37657 0.30763 0.72549
INFLO 100 0.32787 0.25355 0.25242 0.16976 0.37104 0.30149 0.74283
COF 37 0.30055 0.22321 0.23003 0.14489 0.34052 0.26760 0.67794
COF 48 0.32240 0.24748 0.24129 0.15740 0.34526 0.27287 0.67107
COF 53 0.31148 0.23534 0.23632 0.15187 0.34862 0.27660 0.66523

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO