Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Annthyroid (5% of outliers version#03)

This data set contains medical data on hypothyroidism. Three classes relate to the conditions normal, hyperfunction, and subnormal functioning. Classes other than normal condition were defined as outliers here.

Download all data set variants used (9.9 MB). You can also access the original data. (merge train and test [ann-test.data and ann-train.data])

Normalized, without duplicates

This version contains 21 attributes, 6942 objects, 347 outliers (5.00%)

Download raw algorithm results (60.3 MB) Download raw algorithm evaluation table (75.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.09222 0.04446 0.08333 0.03510 0.15701 0.11266 0.66141
KNNW 1 0.11816 0.07176 0.08878 0.04083 0.15597 0.11157 0.67435
LOF 3 0.14986 0.10513 0.09118 0.04336 0.17492 0.13151 0.64156
LOF 10 0.11527 0.06872 0.09953 0.05215 0.19473 0.15236 0.70493
LOF 11 0.11239 0.06569 0.10030 0.05296 0.19896 0.15681 0.70365
LOF 20 0.04899 -0.00105 0.09077 0.04293 0.20172 0.15972 0.67935
SimplifiedLOF 3 0.13545 0.08996 0.08829 0.04032 0.17293 0.12942 0.64908
SimplifiedLOF 8 0.11816 0.07176 0.09693 0.04942 0.19243 0.14994 0.69850
SimplifiedLOF 12 0.10086 0.05356 0.09735 0.04986 0.19180 0.14927 0.71560
LoOP 12 0.14986 0.10513 0.10248 0.05526 0.18669 0.14389 0.71321
LoOP 20 0.12104 0.07479 0.09994 0.05259 0.18244 0.13942 0.71477
LoOP 30 0.10086 0.05356 0.09609 0.04853 0.19219 0.14968 0.70218
LDOF 12 0.14121 0.09602 0.11414 0.06753 0.18936 0.14671 0.72078
LDOF 21 0.12680 0.08086 0.10895 0.06207 0.18582 0.14298 0.72779
LDOF 28 0.15274 0.10816 0.10935 0.06249 0.18487 0.14199 0.72582
LDOF 51 0.11527 0.06872 0.10419 0.05705 0.19764 0.15543 0.70806
ODIN 17 0.13805 0.09269 0.09879 0.05137 0.16997 0.12630 0.69587
ODIN 21 0.14939 0.10464 0.09650 0.04897 0.16534 0.12142 0.69310
ODIN 95 0.13385 0.08827 0.09184 0.04406 0.19284 0.15037 0.63194
FastABOD 3 0.08646 0.03839 0.07051 0.02161 0.13413 0.08857 0.62670
FastABOD 4 0.08646 0.03839 0.07248 0.02368 0.13222 0.08656 0.63223
FastABOD 5 0.08069 0.03232 0.07275 0.02397 0.13378 0.08820 0.63138
FastABOD 8 0.08934 0.04142 0.07194 0.02311 0.13303 0.08741 0.62748
KDEOS 17 0.13545 0.08996 0.10489 0.05779 0.17829 0.13506 0.69508
KDEOS 20 0.15274 0.10816 0.10442 0.05730 0.16197 0.11787 0.69737
KDEOS 23 0.14409 0.09906 0.10994 0.06311 0.17143 0.12783 0.70141
KDEOS 38 0.12392 0.07782 0.10366 0.05650 0.16337 0.11935 0.70435
LDF 7 0.17291 0.12939 0.10043 0.05310 0.20875 0.16712 0.68838
LDF 8 0.17291 0.12939 0.10070 0.05339 0.21627 0.17504 0.68192
INFLO 7 0.14121 0.09602 0.08875 0.04081 0.17815 0.13491 0.64125
INFLO 8 0.13545 0.08996 0.09011 0.04224 0.17751 0.13424 0.66081
INFLO 34 0.06052 0.01109 0.07740 0.02886 0.18739 0.14463 0.60556
COF 4 0.13833 0.09299 0.09009 0.04221 0.16584 0.12195 0.65452
COF 14 0.10375 0.05659 0.09376 0.04608 0.18182 0.13877 0.69157
COF 17 0.10375 0.05659 0.09473 0.04710 0.19143 0.14889 0.68785
COF 18 0.09798 0.05052 0.09441 0.04676 0.19273 0.15025 0.68238

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 7016 objects, 350 outliers (4.99%)

Download raw algorithm results (60.8 MB) Download raw algorithm evaluation table (72.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.10571 0.05876 0.08541 0.03739 0.15993 0.11583 0.66749
KNN 2 0.11143 0.06477 0.08310 0.03495 0.15518 0.11083 0.66043
KNNW 1 0.12857 0.08282 0.09065 0.04291 0.16514 0.12130 0.68071
LOF 2 0.14000 0.09485 0.08205 0.03385 0.16199 0.11799 0.62418
LOF 10 0.11143 0.06477 0.10101 0.05381 0.20421 0.16243 0.70180
LOF 11 0.12286 0.07680 0.10196 0.05481 0.20791 0.16632 0.70159
SimplifiedLOF 4 0.10286 0.05575 0.07951 0.03118 0.15332 0.10886 0.64552
SimplifiedLOF 11 0.10000 0.05275 0.09420 0.04664 0.18137 0.13839 0.70076
SimplifiedLOF 14 0.08286 0.03470 0.09362 0.04603 0.18315 0.14026 0.70469
SimplifiedLOF 27 0.04571 -0.00439 0.09121 0.04350 0.19355 0.15121 0.69330
LoOP 17 0.14000 0.09485 0.09934 0.05205 0.18686 0.14416 0.70838
LoOP 18 0.13714 0.09184 0.09962 0.05235 0.18315 0.14027 0.70872
LoOP 33 0.10286 0.05575 0.09645 0.04900 0.19765 0.15552 0.70058
LDOF 20 0.15143 0.10687 0.10896 0.06217 0.18389 0.14104 0.71944
LDOF 29 0.14857 0.10387 0.11228 0.06567 0.19056 0.14806 0.72248
LDOF 32 0.14857 0.10387 0.11235 0.06574 0.19895 0.15689 0.71739
LDOF 37 0.14000 0.09485 0.11137 0.06471 0.20215 0.16026 0.71536
ODIN 13 0.13825 0.09301 0.10115 0.05396 0.17511 0.13180 0.68942
ODIN 16 0.13993 0.09477 0.10025 0.05300 0.17876 0.13564 0.69002
ODIN 18 0.14095 0.09585 0.09920 0.05190 0.17189 0.12841 0.69438
ODIN 24 0.16511 0.12128 0.09810 0.05074 0.16803 0.12435 0.68401
FastABOD 3 0.06571 0.01666 0.06981 0.02097 0.13620 0.09084 0.63077
FastABOD 4 0.06857 0.01967 0.07153 0.02278 0.13236 0.08680 0.63443
FastABOD 6 0.08286 0.03470 0.07277 0.02409 0.13255 0.08700 0.63440
FastABOD 26 0.10000 0.05275 0.07128 0.02252 0.12950 0.08379 0.62070
KDEOS 14 0.14000 0.09485 0.09681 0.04938 0.15483 0.11045 0.68009
KDEOS 23 0.11714 0.07079 0.10280 0.05570 0.15852 0.11434 0.68415
KDEOS 36 0.10571 0.05876 0.09751 0.05013 0.16989 0.12631 0.69375
LDF 7 0.13429 0.08883 0.09344 0.04584 0.19366 0.15132 0.67998
LDF 8 0.13429 0.08883 0.09664 0.04921 0.20443 0.16266 0.67859
LDF 10 0.14857 0.10387 0.09253 0.04488 0.19329 0.15094 0.66879
INFLO 4 0.13143 0.08582 0.07966 0.03134 0.15484 0.11046 0.62743
INFLO 12 0.12000 0.07380 0.08836 0.04050 0.17865 0.13552 0.65669
INFLO 14 0.12571 0.07981 0.08839 0.04052 0.18048 0.13745 0.65575
INFLO 31 0.07429 0.02568 0.08161 0.03339 0.19428 0.15197 0.62334
COF 5 0.12571 0.07981 0.08135 0.03311 0.14809 0.10336 0.64796
COF 13 0.09714 0.04974 0.09176 0.04407 0.18441 0.14159 0.68788
COF 14 0.10000 0.05275 0.09227 0.04461 0.18379 0.14094 0.68781
COF 21 0.12000 0.07380 0.09042 0.04267 0.19465 0.15237 0.66534

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 6942 objects, 347 outliers (5.00%)

Download raw algorithm results (59.7 MB) Download raw algorithm evaluation table (75.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.08934 0.04142 0.08021 0.03182 0.14315 0.09807 0.65710
KNN 3 0.08934 0.04142 0.07677 0.02820 0.14719 0.10232 0.64143
KNNW 1 0.10663 0.05962 0.08668 0.03863 0.15852 0.11425 0.67688
LOF 6 0.15562 0.11119 0.10451 0.05739 0.20644 0.16469 0.70045
LOF 8 0.14121 0.09602 0.10827 0.06135 0.21364 0.17227 0.71144
LOF 11 0.12104 0.07479 0.10509 0.05801 0.22449 0.18369 0.70131
SimplifiedLOF 3 0.12104 0.07479 0.08670 0.03864 0.16612 0.12224 0.66333
SimplifiedLOF 8 0.11816 0.07176 0.10408 0.05694 0.20574 0.16395 0.73012
SimplifiedLOF 11 0.10375 0.05659 0.10473 0.05762 0.20386 0.16197 0.73714
LoOP 12 0.14697 0.10209 0.11026 0.06345 0.20041 0.15834 0.73656
LoOP 16 0.13833 0.09299 0.10894 0.06205 0.20781 0.16613 0.73286
LDOF 16 0.16427 0.12029 0.12509 0.07906 0.20715 0.16544 0.75623
LDOF 23 0.17867 0.13546 0.12796 0.08207 0.20428 0.16241 0.75142
LDOF 30 0.16715 0.12333 0.12674 0.08079 0.21261 0.17118 0.74369
ODIN 20 0.17255 0.12901 0.11308 0.06641 0.19092 0.14835 0.70101
ODIN 21 0.17104 0.12742 0.11353 0.06689 0.19423 0.15183 0.69923
ODIN 40 0.19200 0.14949 0.10931 0.06245 0.20331 0.16140 0.66740
ODIN 46 0.18467 0.14177 0.10643 0.05941 0.20712 0.16540 0.66218
FastABOD 5 0.06916 0.02019 0.06890 0.01991 0.13013 0.08436 0.61467
FastABOD 7 0.07781 0.02929 0.06904 0.02006 0.13140 0.08570 0.61406
FastABOD 17 0.08357 0.03536 0.06752 0.01845 0.12704 0.08111 0.60263
KDEOS 24 0.16427 0.12029 0.11798 0.07157 0.17555 0.13217 0.72069
KDEOS 27 0.13833 0.09299 0.11989 0.07358 0.18036 0.13724 0.72145
KDEOS 31 0.12680 0.08086 0.11894 0.07258 0.19072 0.14814 0.72055
LDF 6 0.17291 0.12939 0.10265 0.05544 0.20750 0.16580 0.68279
LDF 7 0.17579 0.13243 0.09974 0.05238 0.19879 0.15663 0.68224
LDF 9 0.16715 0.12333 0.09552 0.04793 0.20796 0.16628 0.66512
INFLO 8 0.13833 0.09299 0.09465 0.04702 0.19806 0.15587 0.67059
INFLO 9 0.14409 0.09906 0.09140 0.04359 0.19805 0.15585 0.65006
INFLO 11 0.12104 0.07479 0.09093 0.04310 0.20690 0.16517 0.64288
COF 10 0.14121 0.09602 0.10502 0.05793 0.19575 0.15344 0.71744
COF 11 0.15274 0.10816 0.10402 0.05688 0.19688 0.15462 0.70806
COF 15 0.12680 0.08086 0.10223 0.05499 0.20714 0.16543 0.69989

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 7016 objects, 350 outliers (4.99%)

Download raw algorithm results (60.2 MB) Download raw algorithm evaluation table (72.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.11429 0.06778 0.08458 0.03651 0.15800 0.11379 0.66856
KNNW 1 0.12571 0.07981 0.09229 0.04463 0.17026 0.12669 0.68749
LOF 4 0.15143 0.10687 0.09867 0.05135 0.19141 0.14896 0.67173
LOF 10 0.13714 0.09184 0.11129 0.06463 0.23654 0.19645 0.71537
LOF 11 0.13429 0.08883 0.11108 0.06441 0.24713 0.20760 0.71034
SimplifiedLOF 10 0.13143 0.08582 0.10513 0.05815 0.20657 0.16491 0.72356
SimplifiedLOF 11 0.11429 0.06778 0.10534 0.05836 0.21301 0.17169 0.72621
SimplifiedLOF 12 0.11143 0.06477 0.10531 0.05833 0.21271 0.17137 0.72693
SimplifiedLOF 16 0.08000 0.03170 0.10224 0.05510 0.21940 0.17842 0.72508
LoOP 10 0.16286 0.11890 0.11067 0.06397 0.20563 0.16392 0.72663
LoOP 12 0.15429 0.10988 0.11152 0.06487 0.21066 0.16922 0.73218
LoOP 14 0.14286 0.09785 0.11190 0.06527 0.21195 0.17058 0.73038
LoOP 16 0.14286 0.09785 0.11160 0.06496 0.21787 0.17680 0.73139
LDOF 20 0.17429 0.13093 0.13090 0.08527 0.21810 0.17705 0.76214
LDOF 22 0.18286 0.13995 0.13207 0.08650 0.22046 0.17953 0.75788
LDOF 25 0.17143 0.12792 0.13269 0.08715 0.22502 0.18433 0.75231
LDOF 35 0.16286 0.11890 0.12974 0.08405 0.23473 0.19455 0.73537
ODIN 11 0.17993 0.13687 0.11150 0.06485 0.18956 0.14700 0.70574
ODIN 13 0.17363 0.13024 0.11398 0.06746 0.18924 0.14667 0.70924
ODIN 15 0.17014 0.12657 0.11238 0.06578 0.19474 0.15246 0.70997
ODIN 36 0.15464 0.11026 0.10502 0.05803 0.20387 0.16207 0.67731
FastABOD 6 0.09143 0.04372 0.07088 0.02210 0.13273 0.08719 0.62119
FastABOD 7 0.09714 0.04974 0.07120 0.02244 0.13255 0.08700 0.62108
FastABOD 9 0.10000 0.05275 0.07099 0.02221 0.13176 0.08617 0.61813
KDEOS 25 0.12571 0.07981 0.11620 0.06979 0.17249 0.12904 0.70983
KDEOS 28 0.14000 0.09485 0.11110 0.06443 0.17636 0.13311 0.71099
KDEOS 46 0.14000 0.09485 0.10931 0.06255 0.17854 0.13540 0.69906
KDEOS 63 0.15143 0.10687 0.10627 0.05935 0.16866 0.12501 0.69371
LDF 8 0.17429 0.13093 0.10258 0.05546 0.21145 0.17004 0.68108
LDF 9 0.17143 0.12792 0.10220 0.05506 0.21501 0.17380 0.67815
LDF 10 0.17714 0.13394 0.10058 0.05335 0.21053 0.16907 0.67618
INFLO 4 0.14000 0.09485 0.08994 0.04215 0.17677 0.13354 0.66515
INFLO 9 0.15429 0.10988 0.09372 0.04614 0.20714 0.16551 0.64947
INFLO 14 0.12571 0.07981 0.09614 0.04868 0.21551 0.17432 0.65748
INFLO 16 0.10857 0.06177 0.09481 0.04728 0.21790 0.17683 0.65627
COF 10 0.13429 0.08883 0.10045 0.05321 0.20462 0.16286 0.69747
COF 11 0.14571 0.10086 0.10110 0.05390 0.20178 0.15986 0.69350
COF 12 0.14000 0.09485 0.10125 0.05406 0.20477 0.16302 0.69469
COF 16 0.12571 0.07981 0.10022 0.05298 0.21569 0.17451 0.68771

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO