Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Cardiotocography (10% of outliers version#04)

Data set related to heart diseases. It describes 3 classes: normal, suspect, or pathological. Normal patients are treated as inliers and the remaining as outliers.

Download all data set variants used (8.8 MB). You can also access the original data. (CTG.xls)

Normalized, without duplicates

This version contains 21 attributes, 1831 objects, 183 outliers (9.99%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (72.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 74 0.33880 0.26538 0.31383 0.23763 0.37303 0.30341 0.70938
KNN 96 0.36066 0.28966 0.32489 0.24992 0.36564 0.29520 0.71595
KNN 100 0.35519 0.28359 0.32531 0.25039 0.36681 0.29650 0.71655
KNNW 55 0.33333 0.25930 0.27091 0.18995 0.34906 0.27677 0.68299
KNNW 94 0.32787 0.25323 0.28779 0.20870 0.36285 0.29210 0.69625
KNNW 100 0.32787 0.25323 0.28928 0.21036 0.36207 0.29123 0.69768
LOF 88 0.28415 0.20466 0.21442 0.12719 0.33066 0.25633 0.72919
LOF 100 0.27322 0.19252 0.22292 0.13662 0.33831 0.26483 0.73565
SimplifiedLOF 89 0.26776 0.18645 0.19405 0.10455 0.30392 0.22663 0.70138
SimplifiedLOF 99 0.26230 0.18038 0.19655 0.10733 0.30671 0.22972 0.70534
SimplifiedLOF 100 0.26230 0.18038 0.19728 0.10815 0.30671 0.22972 0.70615
LoOP 91 0.24044 0.15609 0.18703 0.09676 0.29734 0.21931 0.68817
LoOP 100 0.24044 0.15609 0.18916 0.09913 0.30200 0.22449 0.69112
LDOF 21 0.20765 0.11966 0.17794 0.08666 0.25060 0.16739 0.62455
LDOF 23 0.22951 0.14395 0.17584 0.08432 0.24684 0.16321 0.62256
LDOF 96 0.19672 0.10752 0.17242 0.08052 0.28942 0.21052 0.66936
LDOF 100 0.21311 0.12574 0.17411 0.08240 0.28920 0.21027 0.67168
ODIN 100 0.21858 0.13181 0.18687 0.09657 0.30351 0.22617 0.70156
FastABOD 89 0.26776 0.18645 0.21161 0.12406 0.29617 0.21801 0.66693
FastABOD 100 0.26776 0.18645 0.21270 0.12527 0.29916 0.22134 0.66800
KDEOS 12 0.19672 0.10752 0.14960 0.05517 0.22418 0.13803 0.59159
KDEOS 15 0.15847 0.06502 0.15368 0.05971 0.22665 0.14077 0.59862
KDEOS 99 0.13661 0.04074 0.14077 0.04536 0.23782 0.15318 0.63323
LDF 95 0.36066 0.28966 0.31222 0.23585 0.39103 0.32340 0.74335
LDF 99 0.36066 0.28966 0.31855 0.24288 0.39228 0.32480 0.74546
LDF 100 0.36066 0.28966 0.31973 0.24419 0.39610 0.32905 0.74546
INFLO 98 0.25683 0.17431 0.20212 0.11352 0.30870 0.23194 0.72262
INFLO 99 0.26230 0.18038 0.20217 0.11358 0.30719 0.23026 0.72220
INFLO 100 0.26230 0.18038 0.20333 0.11487 0.31169 0.23526 0.72252
COF 48 0.28962 0.21073 0.23454 0.14954 0.29348 0.21502 0.65672
COF 59 0.28962 0.21073 0.24077 0.15647 0.29526 0.21701 0.65199
COF 71 0.26230 0.18038 0.24224 0.15809 0.27208 0.19125 0.66727
COF 100 0.27322 0.19252 0.26586 0.18434 0.28409 0.20459 0.66056

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 1838 objects, 183 outliers (9.96%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (72.0 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 94 0.37705 0.30817 0.35568 0.28443 0.39623 0.32946 0.74640
KNN 95 0.38251 0.31424 0.35575 0.28452 0.39623 0.32946 0.74650
KNN 97 0.37705 0.30817 0.35678 0.28566 0.39130 0.32400 0.74676
KNN 99 0.38251 0.31424 0.35748 0.28644 0.39009 0.32265 0.74669
KNNW 60 0.33880 0.26569 0.31098 0.23479 0.37241 0.30302 0.72191
KNNW 93 0.35519 0.28389 0.32632 0.25182 0.36735 0.29739 0.73079
KNNW 100 0.35519 0.28389 0.32855 0.25431 0.36939 0.29966 0.73217
LOF 100 0.32240 0.24748 0.27449 0.19426 0.36396 0.29363 0.77745
SimplifiedLOF 16 0.32240 0.24748 0.26123 0.17954 0.35845 0.28751 0.69798
SimplifiedLOF 17 0.32787 0.25355 0.25930 0.17740 0.35965 0.28884 0.69880
SimplifiedLOF 100 0.31148 0.23534 0.24921 0.16620 0.35178 0.28010 0.74418
LoOP 18 0.31148 0.23534 0.24054 0.15656 0.32479 0.25013 0.68700
LoOP 23 0.31694 0.24141 0.23135 0.14636 0.32779 0.25346 0.68348
LoOP 88 0.30601 0.22927 0.23584 0.15135 0.35246 0.28086 0.72558
LoOP 100 0.31148 0.23534 0.23925 0.15513 0.34469 0.27223 0.73263
LDOF 20 0.28415 0.20500 0.23785 0.15358 0.30159 0.22436 0.66962
LDOF 77 0.27869 0.19893 0.21748 0.13095 0.33839 0.26524 0.69253
LDOF 89 0.30055 0.22321 0.22127 0.13516 0.33408 0.26044 0.70005
LDOF 99 0.28415 0.20500 0.22158 0.13551 0.33188 0.25800 0.70430
ODIN 94 0.26620 0.18506 0.22085 0.13469 0.32504 0.25041 0.73633
ODIN 100 0.26230 0.18072 0.22391 0.13810 0.33061 0.25659 0.73966
FastABOD 40 0.30055 0.22321 0.21154 0.12435 0.30570 0.22893 0.68243
FastABOD 47 0.29508 0.21714 0.21178 0.12463 0.30851 0.23205 0.68366
FastABOD 100 0.27322 0.19286 0.21631 0.12965 0.30164 0.22442 0.69129
KDEOS 22 0.16393 0.07149 0.16312 0.07058 0.26667 0.18558 0.63585
KDEOS 58 0.22404 0.13824 0.15196 0.05819 0.23649 0.15207 0.64087
KDEOS 100 0.20765 0.12004 0.16299 0.07044 0.27187 0.19136 0.67216
LDF 97 0.36066 0.28996 0.36004 0.28928 0.37584 0.30682 0.76918
LDF 99 0.36066 0.28996 0.36456 0.29430 0.38040 0.31189 0.76962
LDF 100 0.36066 0.28996 0.36536 0.29519 0.38217 0.31385 0.76956
INFLO 71 0.28962 0.21107 0.23723 0.15289 0.35802 0.28704 0.73190
INFLO 91 0.32240 0.24748 0.25123 0.16844 0.35294 0.28139 0.74680
INFLO 99 0.32240 0.24748 0.25537 0.17303 0.35294 0.28139 0.75336
COF 35 0.32787 0.25355 0.24541 0.16197 0.32787 0.25355 0.65508
COF 69 0.30601 0.22927 0.29550 0.21761 0.33553 0.26205 0.69184
COF 73 0.30601 0.22927 0.30046 0.22311 0.33125 0.25730 0.69422
COF 80 0.28962 0.21107 0.30450 0.22760 0.30868 0.23224 0.69325

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 1831 objects, 183 outliers (9.99%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (71.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.26230 0.18038 0.23738 0.15270 0.28980 0.21093 0.70910
KNN 2 0.24044 0.15609 0.21621 0.12918 0.29130 0.21260 0.72100
KNN 37 0.27322 0.19252 0.20784 0.11988 0.31929 0.24370 0.71104
KNN 67 0.31148 0.23502 0.21410 0.12683 0.31280 0.23649 0.71450
KNNW 2 0.23497 0.15002 0.24151 0.15728 0.28708 0.20792 0.70517
KNNW 4 0.24590 0.16216 0.22371 0.13751 0.28571 0.20640 0.72330
KNNW 94 0.26776 0.18645 0.21124 0.12365 0.32200 0.24671 0.71534
KNNW 100 0.27322 0.19252 0.21178 0.12426 0.31944 0.24387 0.71557
LOF 9 0.28415 0.20466 0.23430 0.14928 0.28840 0.20938 0.67790
LOF 11 0.27869 0.19859 0.23508 0.15014 0.28800 0.20894 0.69154
LOF 94 0.26230 0.18038 0.22488 0.13881 0.34866 0.27633 0.74997
LOF 100 0.27322 0.19252 0.22743 0.14164 0.34735 0.27488 0.75284
SimplifiedLOF 12 0.29508 0.21681 0.25363 0.17075 0.30000 0.22227 0.68709
SimplifiedLOF 14 0.28415 0.20466 0.26526 0.18367 0.29918 0.22136 0.69934
SimplifiedLOF 100 0.26230 0.18038 0.21527 0.12813 0.33333 0.25930 0.72537
LoOP 14 0.26776 0.18645 0.24351 0.15951 0.28720 0.20804 0.68412
LoOP 16 0.28415 0.20466 0.23619 0.15138 0.29302 0.21451 0.69228
LoOP 88 0.25137 0.16824 0.21160 0.12405 0.33206 0.25789 0.70863
LoOP 100 0.26230 0.18038 0.21401 0.12673 0.32950 0.25505 0.71013
LDOF 17 0.27869 0.19859 0.21313 0.12576 0.28931 0.21039 0.63162
LDOF 20 0.26776 0.18645 0.22101 0.13450 0.28866 0.20967 0.64786
LDOF 99 0.25137 0.16824 0.21295 0.12555 0.32715 0.25243 0.71471
LDOF 100 0.25683 0.17431 0.21292 0.12552 0.32715 0.25243 0.71568
ODIN 75 0.27620 0.19583 0.22856 0.14290 0.33862 0.26518 0.70316
ODIN 82 0.26412 0.18240 0.23160 0.14627 0.34581 0.27317 0.70713
ODIN 94 0.26011 0.17795 0.23974 0.15532 0.34182 0.26873 0.71243
ODIN 100 0.26279 0.18093 0.23882 0.15429 0.33750 0.26393 0.71428
FastABOD 6 0.22951 0.14395 0.23277 0.14758 0.27540 0.19493 0.69255
FastABOD 14 0.26230 0.18038 0.22854 0.14288 0.27165 0.19077 0.69526
FastABOD 16 0.26230 0.18038 0.22558 0.13959 0.27304 0.19231 0.69629
FastABOD 84 0.25683 0.17431 0.22043 0.13386 0.29368 0.21525 0.69218
KDEOS 67 0.15301 0.05895 0.17364 0.08188 0.27187 0.19101 0.68333
KDEOS 94 0.18033 0.08931 0.16981 0.07762 0.27207 0.19123 0.69211
KDEOS 98 0.17486 0.08324 0.17187 0.07992 0.27820 0.19804 0.69602
KDEOS 100 0.17486 0.08324 0.17184 0.07987 0.27653 0.19619 0.69790
LDF 9 0.30601 0.22895 0.29413 0.21575 0.32224 0.24698 0.71876
LDF 10 0.31148 0.23502 0.27510 0.19460 0.32941 0.25495 0.73009
LDF 97 0.30055 0.22288 0.23526 0.15034 0.34522 0.27251 0.76258
LDF 99 0.30055 0.22288 0.23616 0.15134 0.34091 0.26772 0.76333
INFLO 10 0.26776 0.18645 0.21942 0.13274 0.28198 0.20225 0.65229
INFLO 11 0.28962 0.21073 0.21776 0.13089 0.29050 0.21172 0.64702
INFLO 92 0.26776 0.18645 0.21474 0.12754 0.33061 0.25628 0.70172
INFLO 99 0.27322 0.19252 0.21634 0.12931 0.32527 0.25035 0.71090
COF 15 0.26230 0.18038 0.25874 0.17642 0.31804 0.24232 0.69952
COF 17 0.26230 0.18038 0.25626 0.17367 0.33473 0.26085 0.71617
COF 19 0.27869 0.19859 0.25090 0.16772 0.33406 0.26011 0.71760
COF 20 0.28962 0.21073 0.24305 0.15899 0.32374 0.24865 0.71415

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 1838 objects, 183 outliers (9.96%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (71.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.31148 0.23534 0.26306 0.18158 0.32075 0.24565 0.72636
KNN 3 0.29508 0.21714 0.25506 0.17268 0.33266 0.25887 0.74355
KNN 56 0.33333 0.25962 0.23477 0.15016 0.34573 0.27339 0.73501
KNN 100 0.33333 0.25962 0.23978 0.15572 0.35492 0.28359 0.74157
KNNW 4 0.28415 0.20500 0.25375 0.17124 0.30722 0.23062 0.74133
KNNW 5 0.28415 0.20500 0.25324 0.17067 0.31281 0.23683 0.74389
KNNW 97 0.31148 0.23534 0.23455 0.14991 0.36161 0.29102 0.73752
KNNW 100 0.31694 0.24141 0.23483 0.15022 0.36080 0.29012 0.73777
LOF 8 0.34973 0.27782 0.30454 0.22764 0.36207 0.29153 0.73521
LOF 9 0.34973 0.27782 0.30479 0.22792 0.36047 0.28975 0.73910
LOF 100 0.27869 0.19893 0.24807 0.16493 0.39394 0.32692 0.77510
SimplifiedLOF 13 0.34426 0.27175 0.29989 0.22247 0.35523 0.28394 0.72692
SimplifiedLOF 16 0.34973 0.27782 0.29312 0.21496 0.37149 0.30199 0.73688
SimplifiedLOF 72 0.29508 0.21714 0.23931 0.15520 0.37632 0.30736 0.74888
SimplifiedLOF 95 0.27322 0.19286 0.23883 0.15467 0.38877 0.32118 0.74748
LoOP 13 0.33880 0.26569 0.28844 0.20976 0.35685 0.28573 0.71960
LoOP 18 0.34973 0.27782 0.27439 0.19416 0.36564 0.29549 0.72657
LoOP 93 0.27322 0.19286 0.23691 0.15253 0.37959 0.31099 0.73488
LoOP 98 0.27322 0.19286 0.23695 0.15258 0.38462 0.31657 0.73432
LDOF 19 0.36066 0.28996 0.25568 0.17338 0.36364 0.29327 0.68331
LDOF 20 0.35519 0.28389 0.26470 0.18339 0.36641 0.29635 0.68781
LDOF 100 0.30601 0.22927 0.24400 0.16040 0.37712 0.30824 0.74025
ODIN 64 0.31823 0.24284 0.25815 0.17612 0.36502 0.29481 0.72747
ODIN 76 0.30710 0.23049 0.26012 0.17831 0.37247 0.30308 0.73424
ODIN 100 0.31216 0.23610 0.26475 0.18345 0.36800 0.29812 0.74236
FastABOD 14 0.28415 0.20500 0.23965 0.15558 0.31180 0.23571 0.70996
FastABOD 17 0.29508 0.21714 0.23794 0.15367 0.30385 0.22688 0.70936
FastABOD 96 0.28962 0.21107 0.23473 0.15011 0.31676 0.24121 0.70913
KDEOS 99 0.25137 0.16859 0.20252 0.11434 0.31467 0.23890 0.72165
KDEOS 100 0.24590 0.16252 0.20192 0.11368 0.31454 0.23875 0.72219
LDF 8 0.30601 0.22927 0.28781 0.20907 0.37662 0.30769 0.75567
LDF 90 0.33333 0.25962 0.25001 0.16708 0.35075 0.27896 0.77888
LDF 100 0.32787 0.25355 0.25719 0.17505 0.35606 0.28486 0.78809
INFLO 11 0.35519 0.28389 0.27931 0.19962 0.38095 0.31250 0.73206
INFLO 67 0.26776 0.18679 0.23943 0.15533 0.37354 0.30427 0.74671
COF 18 0.27322 0.19286 0.24014 0.15612 0.29161 0.21328 0.71765
COF 45 0.28962 0.21107 0.26600 0.18484 0.34526 0.27287 0.69412
COF 48 0.28415 0.20500 0.26869 0.18782 0.34146 0.26865 0.69135
COF 73 0.31148 0.23534 0.23756 0.15325 0.31496 0.23921 0.68579

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO