Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Annthyroid (5% of outliers version#10)

This data set contains medical data on hypothyroidism. Three classes relate to the conditions normal, hyperfunction, and subnormal functioning. Classes other than normal condition were defined as outliers here.

Download all data set variants used (9.9 MB). You can also access the original data. (merge train and test [ann-test.data and ann-train.data])

Normalized, without duplicates

This version contains 21 attributes, 6942 objects, 347 outliers (5.00%)

Download raw algorithm results (60.3 MB) Download raw algorithm evaluation table (74.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.10663 0.05962 0.08235 0.03407 0.15135 0.10670 0.65509
KNNW 1 0.12104 0.07479 0.08684 0.03880 0.15701 0.11265 0.67244
LOF 3 0.12104 0.07479 0.07981 0.03139 0.15945 0.11523 0.61876
LOF 10 0.10375 0.05659 0.09482 0.04720 0.18733 0.14457 0.69416
LOF 11 0.11239 0.06569 0.09500 0.04738 0.19355 0.15112 0.69063
SimplifiedLOF 3 0.10375 0.05659 0.07736 0.02881 0.14788 0.10304 0.63283
SimplifiedLOF 12 0.08357 0.03536 0.09153 0.04373 0.17916 0.13597 0.70253
SimplifiedLOF 26 0.05476 0.00502 0.08769 0.03969 0.18605 0.14322 0.69165
LoOP 12 0.10951 0.06266 0.09383 0.04615 0.17557 0.13219 0.70152
LoOP 22 0.12104 0.07479 0.09365 0.04596 0.17691 0.13360 0.69618
LoOP 23 0.12104 0.07479 0.09390 0.04623 0.17998 0.13684 0.69727
LoOP 42 0.09510 0.04749 0.09034 0.04248 0.18673 0.14394 0.69076
LDOF 17 0.12104 0.07479 0.10168 0.05441 0.16806 0.12428 0.71638
LDOF 25 0.13833 0.09299 0.10518 0.05810 0.17693 0.13362 0.71417
LDOF 26 0.14697 0.10209 0.10591 0.05886 0.17400 0.13054 0.71292
ODIN 19 0.12104 0.07479 0.09003 0.04215 0.16005 0.11585 0.68358
ODIN 32 0.13764 0.09227 0.09100 0.04317 0.15945 0.11522 0.67463
ODIN 37 0.13076 0.08502 0.09178 0.04399 0.15915 0.11491 0.67201
ODIN 78 0.12176 0.07555 0.08934 0.04143 0.16915 0.12543 0.64905
FastABOD 3 0.08069 0.03232 0.07154 0.02269 0.13553 0.09005 0.63191
FastABOD 4 0.07781 0.02929 0.07193 0.02310 0.13059 0.08484 0.63124
FastABOD 53 0.09510 0.04749 0.06878 0.01978 0.12696 0.08103 0.60255
KDEOS 33 0.09222 0.04446 0.09068 0.04284 0.16033 0.11615 0.68607
KDEOS 39 0.12968 0.08389 0.09236 0.04461 0.15580 0.11138 0.68862
KDEOS 40 0.12968 0.08389 0.09241 0.04465 0.15596 0.11155 0.68805
KDEOS 49 0.10663 0.05962 0.09010 0.04223 0.15306 0.10849 0.68977
LDF 6 0.16427 0.12029 0.09657 0.04903 0.19101 0.14845 0.67231
LDF 8 0.15562 0.11119 0.09468 0.04705 0.19249 0.15001 0.67485
LDF 10 0.15274 0.10816 0.09313 0.04541 0.19397 0.15156 0.66701
INFLO 2 0.11816 0.07176 0.07383 0.02510 0.13511 0.08960 0.60001
INFLO 8 0.11239 0.06569 0.08187 0.03357 0.16287 0.11883 0.64272
INFLO 24 0.07781 0.02929 0.07756 0.02903 0.18386 0.14091 0.60686
COF 13 0.08934 0.04142 0.09074 0.04290 0.17592 0.13256 0.68333
COF 20 0.11527 0.06872 0.09108 0.04325 0.18031 0.13718 0.67544
COF 22 0.11816 0.07176 0.08990 0.04202 0.17951 0.13634 0.67161
COF 31 0.09798 0.05052 0.09236 0.04460 0.17298 0.12947 0.67728

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 7016 objects, 350 outliers (4.99%)

Download raw algorithm results (60.8 MB) Download raw algorithm evaluation table (72.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.09429 0.04673 0.08312 0.03498 0.15671 0.11243 0.66571
KNN 2 0.10000 0.05275 0.08182 0.03361 0.15789 0.11368 0.65953
KNNW 1 0.13143 0.08582 0.09009 0.04231 0.16083 0.11677 0.68381
LOF 3 0.13714 0.09184 0.08459 0.03653 0.16627 0.12249 0.63415
LOF 9 0.10857 0.06177 0.10080 0.05359 0.19920 0.15716 0.71750
LOF 11 0.11429 0.06778 0.10280 0.05570 0.20870 0.16715 0.71385
LOF 12 0.09143 0.04372 0.10170 0.05453 0.21109 0.16967 0.71118
SimplifiedLOF 7 0.10286 0.05575 0.08737 0.03946 0.17007 0.12650 0.67810
SimplifiedLOF 16 0.07714 0.02869 0.09545 0.04795 0.18641 0.14369 0.71776
SimplifiedLOF 21 0.06571 0.01666 0.09659 0.04915 0.19483 0.15256 0.71720
SimplifiedLOF 23 0.06286 0.01365 0.09640 0.04896 0.19972 0.15770 0.71591
LoOP 16 0.13429 0.08883 0.10242 0.05529 0.19539 0.15314 0.72226
LoOP 19 0.12286 0.07680 0.10299 0.05589 0.19430 0.15200 0.72442
LoOP 22 0.12857 0.08282 0.10372 0.05666 0.19736 0.15522 0.72349
LoOP 31 0.10857 0.06177 0.10099 0.05378 0.20475 0.16300 0.71703
LDOF 31 0.16000 0.11590 0.11743 0.07109 0.20203 0.16014 0.73713
LDOF 32 0.16286 0.11890 0.11798 0.07167 0.20362 0.16181 0.73648
LDOF 35 0.15143 0.10687 0.11716 0.07080 0.20751 0.16590 0.73656
ODIN 19 0.14095 0.09585 0.09878 0.05146 0.17027 0.12670 0.71232
ODIN 24 0.14149 0.09641 0.09988 0.05262 0.17686 0.13364 0.70645
ODIN 29 0.14330 0.09832 0.09932 0.05203 0.18020 0.13716 0.69974
ODIN 69 0.15310 0.10863 0.09334 0.04574 0.16972 0.12613 0.66507
FastABOD 4 0.07143 0.02267 0.07389 0.02527 0.13919 0.09399 0.64157
FastABOD 12 0.07714 0.02869 0.07282 0.02414 0.14356 0.09859 0.62888
FastABOD 46 0.08571 0.03771 0.07090 0.02212 0.13672 0.09140 0.61627
KDEOS 14 0.12857 0.08282 0.09770 0.05032 0.15976 0.11564 0.69135
KDEOS 35 0.12000 0.07380 0.10490 0.05790 0.17333 0.12993 0.71872
KDEOS 42 0.12571 0.07981 0.10709 0.06021 0.17414 0.13078 0.71594
KDEOS 79 0.10571 0.05876 0.10231 0.05517 0.17618 0.13292 0.70636
LDF 6 0.13143 0.08582 0.09858 0.05125 0.19713 0.15497 0.69663
LDF 8 0.13714 0.09184 0.09552 0.04803 0.19759 0.15546 0.68531
LDF 10 0.14857 0.10387 0.09312 0.04551 0.19093 0.14845 0.67751
INFLO 13 0.12000 0.07380 0.08957 0.04177 0.18822 0.14560 0.65690
INFLO 14 0.11429 0.06778 0.09062 0.04288 0.19014 0.14761 0.66230
INFLO 22 0.08000 0.03170 0.08445 0.03637 0.19909 0.15704 0.62903
COF 14 0.09143 0.04372 0.09290 0.04527 0.17562 0.13234 0.69697
COF 16 0.11429 0.06778 0.09571 0.04823 0.19314 0.15078 0.69669
COF 20 0.13429 0.08883 0.09406 0.04649 0.18692 0.14422 0.68550

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 6942 objects, 347 outliers (5.00%)

Download raw algorithm results (59.7 MB) Download raw algorithm evaluation table (75.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.11239 0.06569 0.08175 0.03344 0.14391 0.09887 0.65402
KNN 2 0.10951 0.06266 0.07954 0.03111 0.15234 0.10774 0.64714
KNNW 1 0.12968 0.08389 0.08878 0.04084 0.15568 0.11126 0.67272
LOF 4 0.14986 0.10513 0.09467 0.04704 0.18091 0.13782 0.67027
LOF 10 0.13256 0.08692 0.10444 0.05732 0.22560 0.18486 0.70625
LOF 11 0.12968 0.08389 0.10417 0.05703 0.22584 0.18510 0.70144
SimplifiedLOF 7 0.12680 0.08086 0.09683 0.04930 0.18112 0.13803 0.70749
SimplifiedLOF 11 0.11239 0.06569 0.10193 0.05468 0.20257 0.16061 0.72409
SimplifiedLOF 12 0.10951 0.06266 0.10064 0.05332 0.20445 0.16259 0.72113
LoOP 9 0.14409 0.09906 0.10467 0.05756 0.19077 0.14819 0.71927
LoOP 11 0.13545 0.08996 0.10619 0.05916 0.19480 0.15243 0.72449
LoOP 30 0.11816 0.07176 0.09928 0.05189 0.20164 0.15963 0.70136
LDOF 20 0.17003 0.12636 0.12537 0.07935 0.19540 0.15306 0.75305
LDOF 21 0.17291 0.12939 0.12589 0.07990 0.19912 0.15698 0.75099
LDOF 23 0.16715 0.12333 0.12734 0.08143 0.20225 0.16027 0.75021
LDOF 30 0.15850 0.11423 0.12471 0.07866 0.20489 0.16306 0.73715
ODIN 13 0.15320 0.10864 0.10537 0.05830 0.17765 0.13438 0.70091
ODIN 14 0.16195 0.11786 0.10565 0.05859 0.17618 0.13283 0.69673
ODIN 39 0.14013 0.09489 0.10080 0.05349 0.19255 0.15006 0.67795
FastABOD 5 0.09222 0.04446 0.06989 0.02095 0.12660 0.08064 0.61325
FastABOD 6 0.09222 0.04446 0.07000 0.02106 0.12855 0.08270 0.61240
FastABOD 20 0.09798 0.05052 0.06916 0.02019 0.12491 0.07886 0.60156
KDEOS 23 0.14697 0.10209 0.10639 0.05937 0.16616 0.12229 0.70349
KDEOS 24 0.14121 0.09602 0.10680 0.05980 0.16924 0.12553 0.70490
KDEOS 26 0.12392 0.07782 0.10607 0.05903 0.17266 0.12913 0.70322
KDEOS 28 0.10951 0.06266 0.10736 0.06039 0.17011 0.12645 0.70489
LDF 6 0.18156 0.13849 0.10432 0.05719 0.21053 0.16899 0.68187
LDF 10 0.16715 0.12333 0.10032 0.05298 0.21836 0.17723 0.66975
INFLO 9 0.14409 0.09906 0.09096 0.04313 0.19536 0.15303 0.64620
INFLO 10 0.13545 0.08996 0.09240 0.04464 0.19589 0.15358 0.65759
INFLO 18 0.10663 0.05962 0.08336 0.03513 0.19817 0.15598 0.61774
COF 11 0.14409 0.09906 0.09827 0.05083 0.18831 0.14560 0.69130
COF 15 0.12104 0.07479 0.09939 0.05201 0.20806 0.16639 0.69519

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 7016 objects, 350 outliers (4.99%)

Download raw algorithm results (60.2 MB) Download raw algorithm evaluation table (72.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.10286 0.05575 0.08171 0.03349 0.14575 0.10090 0.65987
KNN 2 0.09714 0.04974 0.07852 0.03013 0.15249 0.10799 0.64970
KNNW 1 0.12286 0.07680 0.08805 0.04017 0.16058 0.11651 0.68077
LOF 6 0.14571 0.10086 0.10495 0.05795 0.22038 0.17945 0.69455
LOF 10 0.13429 0.08883 0.10988 0.06314 0.23439 0.19419 0.71489
LOF 11 0.13429 0.08883 0.10910 0.06232 0.23720 0.19715 0.70959
SimplifiedLOF 10 0.10857 0.06177 0.10423 0.05720 0.21538 0.17419 0.72493
SimplifiedLOF 11 0.09143 0.04372 0.10504 0.05805 0.21538 0.17419 0.72810
SimplifiedLOF 12 0.09429 0.04673 0.10486 0.05786 0.21019 0.16872 0.72818
LoOP 12 0.15429 0.10988 0.11222 0.06560 0.21808 0.17703 0.73456
LoOP 15 0.14000 0.09485 0.11203 0.06540 0.22179 0.18093 0.72956
LoOP 16 0.14286 0.09785 0.11235 0.06574 0.22128 0.18039 0.73098
LDOF 15 0.16286 0.11890 0.12563 0.07972 0.21893 0.17792 0.75822
LDOF 23 0.17714 0.13394 0.13264 0.08710 0.23460 0.19442 0.75346
LDOF 25 0.17714 0.13394 0.13318 0.08767 0.23409 0.19387 0.75234
LDOF 32 0.18571 0.14296 0.13234 0.08679 0.23374 0.19351 0.74410
ODIN 14 0.17344 0.13004 0.11809 0.07178 0.20071 0.15874 0.71390
ODIN 15 0.17145 0.12795 0.11718 0.07083 0.20171 0.15979 0.71765
ODIN 35 0.20094 0.15898 0.11102 0.06435 0.21457 0.17334 0.68298
FastABOD 4 0.07714 0.02869 0.07034 0.02153 0.13071 0.08507 0.61693
FastABOD 15 0.08286 0.03470 0.06883 0.01994 0.13306 0.08754 0.60824
FastABOD 20 0.08571 0.03771 0.06872 0.01982 0.13154 0.08594 0.60581
KDEOS 21 0.14857 0.10387 0.11132 0.06466 0.16752 0.12381 0.70816
KDEOS 26 0.13143 0.08582 0.11497 0.06850 0.17700 0.13379 0.71887
KDEOS 30 0.12000 0.07380 0.11030 0.06359 0.18581 0.14306 0.72292
KDEOS 39 0.14571 0.10086 0.11193 0.06530 0.19041 0.14790 0.71953
LDF 4 0.17143 0.12792 0.09832 0.05098 0.18318 0.14029 0.67682
LDF 7 0.16286 0.11890 0.09949 0.05221 0.19289 0.15052 0.68505
LDF 8 0.16857 0.12492 0.10061 0.05339 0.20676 0.16511 0.68045
LDF 9 0.15714 0.11289 0.09919 0.05189 0.21053 0.16907 0.67828
INFLO 8 0.13143 0.08582 0.09587 0.04840 0.21303 0.17171 0.66156
INFLO 9 0.14000 0.09485 0.09353 0.04594 0.21512 0.17391 0.64997
INFLO 14 0.12571 0.07981 0.09572 0.04824 0.22004 0.17908 0.65826
COF 10 0.13429 0.08883 0.09965 0.05238 0.19912 0.15706 0.69558
COF 12 0.14000 0.09485 0.10093 0.05373 0.20884 0.16730 0.69201
COF 16 0.13143 0.08582 0.10039 0.05316 0.20989 0.16840 0.68844
COF 20 0.14286 0.09785 0.09702 0.04961 0.19153 0.14908 0.68783

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO