Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Annthyroid (5% of outliers version#02)

This data set contains medical data on hypothyroidism. Three classes relate to the conditions normal, hyperfunction, and subnormal functioning. Classes other than normal condition were defined as outliers here.

Download all data set variants used (9.9 MB). You can also access the original data. (merge train and test [ann-test.data and ann-train.data])

Normalized, without duplicates

This version contains 21 attributes, 6942 objects, 347 outliers (5.00%)

Download raw algorithm results (60.3 MB) Download raw algorithm evaluation table (75.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.09222 0.04446 0.07938 0.03095 0.14819 0.10338 0.64678
KNN 4 0.09798 0.05052 0.07413 0.02542 0.14033 0.09510 0.62864
KNNW 1 0.11527 0.06872 0.08576 0.03766 0.15569 0.11126 0.66146
LOF 3 0.12968 0.08389 0.08119 0.03284 0.15758 0.11325 0.61546
LOF 9 0.09510 0.04749 0.08955 0.04164 0.17312 0.12961 0.68888
LOF 11 0.09510 0.04749 0.09118 0.04337 0.18413 0.14121 0.68665
LOF 20 0.03170 -0.01925 0.08517 0.03703 0.18657 0.14377 0.67024
SimplifiedLOF 4 0.11527 0.06872 0.08021 0.03181 0.15530 0.11086 0.64161
SimplifiedLOF 12 0.07781 0.02929 0.08628 0.03821 0.16540 0.12149 0.68992
SimplifiedLOF 13 0.07493 0.02625 0.08625 0.03818 0.16678 0.12294 0.69120
SimplifiedLOF 31 0.03170 -0.01925 0.08285 0.03459 0.17516 0.13176 0.67915
LoOP 5 0.11816 0.07176 0.08470 0.03654 0.15549 0.11106 0.65087
LoOP 24 0.10086 0.05356 0.08914 0.04121 0.17415 0.13069 0.68991
LoOP 33 0.09510 0.04749 0.08783 0.03983 0.17863 0.13541 0.68377
LDOF 23 0.12104 0.07479 0.10002 0.05267 0.17066 0.12702 0.70267
LDOF 29 0.13256 0.08692 0.09900 0.05159 0.17234 0.12879 0.70452
LDOF 30 0.13545 0.08996 0.09991 0.05255 0.17439 0.13095 0.70369
LDOF 46 0.12392 0.07782 0.09897 0.05156 0.18248 0.13947 0.69545
ODIN 4 0.13731 0.09192 0.08562 0.03751 0.15628 0.11188 0.65016
ODIN 10 0.11127 0.06451 0.08725 0.03922 0.16065 0.11649 0.66862
ODIN 15 0.10057 0.05325 0.09083 0.04299 0.15839 0.11411 0.67116
ODIN 17 0.10828 0.06137 0.08967 0.04177 0.15868 0.11441 0.67553
FastABOD 3 0.08934 0.04142 0.07198 0.02315 0.13030 0.08454 0.62408
KDEOS 8 0.13545 0.08996 0.08929 0.04138 0.15203 0.10742 0.65134
KDEOS 13 0.11239 0.06569 0.09266 0.04492 0.15831 0.11402 0.66843
KDEOS 23 0.11816 0.07176 0.09964 0.05227 0.15138 0.10673 0.67632
KDEOS 41 0.10375 0.05659 0.09414 0.04648 0.15385 0.10933 0.68385
LDF 7 0.14697 0.10209 0.09088 0.04305 0.18363 0.14068 0.66701
LDF 8 0.16138 0.11726 0.09278 0.04504 0.19466 0.15228 0.66409
LDF 9 0.16427 0.12029 0.09222 0.04445 0.18788 0.14515 0.66190
LDF 11 0.16138 0.11726 0.09091 0.04308 0.19589 0.15358 0.65703
INFLO 2 0.11816 0.07176 0.07557 0.02693 0.13976 0.09450 0.60598
INFLO 12 0.09222 0.04446 0.07765 0.02912 0.15736 0.11302 0.62659
INFLO 14 0.10086 0.05356 0.07802 0.02951 0.15946 0.11524 0.62596
INFLO 31 0.05764 0.00805 0.07470 0.02601 0.17624 0.13290 0.59855
COF 5 0.10951 0.06266 0.08169 0.03338 0.15308 0.10852 0.64082
COF 13 0.08069 0.03232 0.08547 0.03736 0.15926 0.11502 0.67204
COF 24 0.09510 0.04749 0.08629 0.03821 0.17241 0.12887 0.65927

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 7016 objects, 350 outliers (4.99%)

Download raw algorithm results (60.8 MB) Download raw algorithm evaluation table (72.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.11143 0.06477 0.08697 0.03903 0.15683 0.11256 0.66654
KNNW 1 0.12857 0.08282 0.09209 0.04442 0.16238 0.11840 0.68466
LOF 10 0.11429 0.06778 0.09877 0.05145 0.20033 0.15835 0.70116
LOF 11 0.12571 0.07981 0.10065 0.05343 0.20490 0.16315 0.69920
LOF 12 0.12857 0.08282 0.10013 0.05288 0.20626 0.16459 0.69534
LOF 18 0.06286 0.01365 0.09514 0.04763 0.21167 0.17028 0.68907
SimplifiedLOF 14 0.09714 0.04974 0.09410 0.04654 0.18147 0.13849 0.70351
SimplifiedLOF 15 0.10286 0.05575 0.09370 0.04612 0.18286 0.13996 0.70299
SimplifiedLOF 23 0.07143 0.02267 0.09324 0.04564 0.19332 0.15097 0.69957
LoOP 14 0.13714 0.09184 0.09875 0.05143 0.18500 0.14221 0.70306
LoOP 19 0.13429 0.08883 0.10059 0.05337 0.18497 0.14218 0.70803
LoOP 25 0.12857 0.08282 0.10161 0.05444 0.19174 0.14931 0.70632
LoOP 34 0.11429 0.06778 0.09874 0.05142 0.19773 0.15561 0.70120
LDOF 25 0.15429 0.10988 0.11165 0.06500 0.19444 0.15215 0.72124
LDOF 31 0.16000 0.11590 0.11371 0.06718 0.20190 0.16000 0.71944
LDOF 32 0.16286 0.11890 0.11451 0.06802 0.20099 0.15903 0.71991
ODIN 20 0.13233 0.08678 0.09626 0.04880 0.16767 0.12397 0.69276
ODIN 30 0.15232 0.10782 0.10051 0.05328 0.17347 0.13007 0.68766
ODIN 40 0.15821 0.11401 0.09927 0.05198 0.17412 0.13076 0.67357
ODIN 73 0.14645 0.10163 0.09473 0.04720 0.17732 0.13412 0.65542
FastABOD 3 0.06857 0.01967 0.07129 0.02253 0.13872 0.09350 0.63573
FastABOD 4 0.07429 0.02568 0.07313 0.02447 0.13758 0.09230 0.63849
FastABOD 7 0.08571 0.03771 0.07377 0.02514 0.13537 0.08998 0.63520
FastABOD 26 0.09429 0.04673 0.07217 0.02346 0.13115 0.08553 0.62159
KDEOS 22 0.13143 0.08582 0.09740 0.05001 0.15349 0.10904 0.68648
KDEOS 27 0.12000 0.07380 0.09952 0.05224 0.15690 0.11263 0.69196
KDEOS 38 0.10857 0.06177 0.09778 0.05041 0.16248 0.11850 0.69979
KDEOS 41 0.11714 0.07079 0.09929 0.05200 0.16537 0.12155 0.69718
LDF 6 0.14571 0.10086 0.09644 0.04900 0.18796 0.14532 0.68128
LDF 10 0.15143 0.10687 0.09429 0.04673 0.20346 0.16164 0.67057
INFLO 12 0.12571 0.07981 0.08675 0.03880 0.17494 0.13162 0.64830
INFLO 13 0.13429 0.08883 0.08793 0.04004 0.17935 0.13626 0.64826
INFLO 14 0.13714 0.09184 0.08756 0.03965 0.17949 0.13641 0.64601
INFLO 28 0.08286 0.03470 0.08503 0.03699 0.19476 0.15248 0.63405
COF 16 0.13143 0.08582 0.09648 0.04904 0.18575 0.14300 0.69437
COF 21 0.15143 0.10687 0.09585 0.04838 0.18494 0.14214 0.67651
COF 29 0.12571 0.07981 0.09706 0.04965 0.19605 0.15384 0.68004
COF 31 0.12000 0.07380 0.09744 0.05005 0.18829 0.14567 0.68230

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 6942 objects, 347 outliers (5.00%)

Download raw algorithm results (59.7 MB) Download raw algorithm evaluation table (75.2 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.09222 0.04446 0.07922 0.03078 0.14280 0.09770 0.64976
KNN 3 0.09222 0.04446 0.07508 0.02641 0.14524 0.10027 0.63269
KNNW 1 0.10951 0.06266 0.08678 0.03873 0.15672 0.11235 0.67030
LOF 6 0.13545 0.08996 0.09842 0.05099 0.19662 0.15435 0.68542
LOF 10 0.11816 0.07176 0.10058 0.05325 0.21199 0.17053 0.69166
SimplifiedLOF 4 0.11239 0.06569 0.08622 0.03815 0.16610 0.12223 0.66984
SimplifiedLOF 9 0.10663 0.05962 0.09691 0.04939 0.19543 0.15309 0.71073
SimplifiedLOF 11 0.10375 0.05659 0.09786 0.05040 0.19452 0.15214 0.71222
SimplifiedLOF 13 0.08934 0.04142 0.09683 0.04931 0.19210 0.14959 0.71244
LoOP 13 0.12680 0.08086 0.10153 0.05426 0.19519 0.15285 0.71326
LoOP 14 0.12680 0.08086 0.10134 0.05406 0.19859 0.15643 0.71263
LoOP 16 0.12680 0.08086 0.10119 0.05390 0.19744 0.15521 0.71374
LoOP 21 0.13545 0.08996 0.09966 0.05228 0.18949 0.14684 0.70859
LDOF 21 0.14409 0.09906 0.11690 0.07044 0.19734 0.15511 0.73934
LDOF 31 0.15274 0.10816 0.11928 0.07294 0.20141 0.15939 0.72649
LDOF 33 0.15850 0.11423 0.11884 0.07248 0.20671 0.16497 0.72235
LDOF 34 0.14697 0.10209 0.11794 0.07153 0.20917 0.16756 0.72080
ODIN 11 0.15681 0.11244 0.10575 0.05870 0.17357 0.13008 0.68856
ODIN 12 0.15212 0.10751 0.10546 0.05840 0.17305 0.12954 0.68965
ODIN 33 0.16472 0.12077 0.09888 0.05147 0.17912 0.13593 0.67011
ODIN 41 0.15401 0.10949 0.09817 0.05072 0.18272 0.13972 0.66436
FastABOD 5 0.07493 0.02625 0.06785 0.01880 0.12599 0.08001 0.60623
FastABOD 7 0.07781 0.02929 0.06860 0.01959 0.12604 0.08005 0.60532
FastABOD 12 0.07493 0.02625 0.06647 0.01735 0.12607 0.08009 0.59839
FastABOD 60 0.08069 0.03232 0.06532 0.01614 0.12245 0.07628 0.58609
KDEOS 32 0.12104 0.07479 0.10527 0.05820 0.16667 0.12282 0.69724
KDEOS 40 0.14121 0.09602 0.10526 0.05818 0.17158 0.12799 0.69263
KDEOS 41 0.14986 0.10513 0.10459 0.05747 0.16878 0.12505 0.69244
KDEOS 70 0.12680 0.08086 0.10772 0.06077 0.15595 0.11154 0.67768
LDF 6 0.18732 0.14456 0.10204 0.05479 0.20114 0.15911 0.67816
LDF 8 0.17867 0.13546 0.10066 0.05334 0.20716 0.16545 0.67432
INFLO 4 0.12392 0.07782 0.08050 0.03212 0.15567 0.11124 0.63716
INFLO 6 0.11527 0.06872 0.08414 0.03595 0.17902 0.13582 0.63841
INFLO 14 0.10951 0.06266 0.08772 0.03972 0.19611 0.15381 0.62698
INFLO 15 0.10951 0.06266 0.08665 0.03860 0.19802 0.15582 0.62205
COF 10 0.14121 0.09602 0.09551 0.04792 0.18705 0.14428 0.68434
COF 13 0.11816 0.07176 0.09665 0.04911 0.19371 0.15129 0.68680
COF 19 0.12104 0.07479 0.09515 0.04754 0.20000 0.15791 0.68005

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 7016 objects, 350 outliers (4.99%)

Download raw algorithm results (60.2 MB) Download raw algorithm evaluation table (72.5 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.12857 0.08282 0.08868 0.04084 0.15560 0.11127 0.67180
KNN 2 0.11714 0.07079 0.08479 0.03674 0.15623 0.11192 0.65947
KNNW 1 0.12571 0.07981 0.09694 0.04953 0.17172 0.12823 0.69988
LOF 6 0.16571 0.12191 0.10606 0.05912 0.20732 0.16570 0.69311
LOF 8 0.16000 0.11590 0.11184 0.06521 0.22449 0.18377 0.71220
LOF 10 0.15429 0.10988 0.11164 0.06500 0.23247 0.19217 0.71372
LOF 12 0.14857 0.10387 0.10868 0.06188 0.24390 0.20420 0.70321
SimplifiedLOF 10 0.14571 0.10086 0.10549 0.05853 0.20241 0.16053 0.72498
SimplifiedLOF 11 0.13143 0.08582 0.10584 0.05889 0.21034 0.16888 0.72569
SimplifiedLOF 12 0.12571 0.07981 0.10640 0.05948 0.20670 0.16505 0.72717
LoOP 12 0.16857 0.12492 0.11321 0.06665 0.21239 0.17104 0.72969
LoOP 16 0.16286 0.11890 0.11484 0.06837 0.21538 0.17419 0.72983
LoOP 17 0.16571 0.12191 0.11539 0.06895 0.21912 0.17812 0.72882
LoOP 23 0.16286 0.11890 0.11355 0.06701 0.22530 0.18462 0.72154
LDOF 20 0.18571 0.14296 0.13196 0.08639 0.21364 0.17235 0.75713
LDOF 31 0.19429 0.15198 0.13825 0.09301 0.22935 0.18889 0.74484
LDOF 32 0.19143 0.14897 0.13852 0.09329 0.22800 0.18747 0.74354
LDOF 43 0.19714 0.15499 0.13245 0.08690 0.21707 0.17596 0.72968
ODIN 19 0.17755 0.13437 0.11381 0.06728 0.19235 0.14994 0.70534
ODIN 25 0.18467 0.14186 0.11501 0.06854 0.20350 0.16168 0.69619
ODIN 43 0.20554 0.16383 0.11436 0.06786 0.21080 0.16936 0.67836
ODIN 44 0.20393 0.16213 0.11431 0.06781 0.21410 0.17284 0.67663
FastABOD 5 0.09714 0.04974 0.07432 0.02571 0.13791 0.09264 0.63294
FastABOD 6 0.09429 0.04673 0.07403 0.02541 0.13978 0.09461 0.63127
KDEOS 27 0.11143 0.06477 0.10352 0.05645 0.17834 0.13520 0.71749
KDEOS 35 0.11714 0.07079 0.10241 0.05528 0.17936 0.13627 0.71552
KDEOS 64 0.14571 0.10086 0.10528 0.05830 0.16474 0.12088 0.68742
KDEOS 100 0.13429 0.08883 0.11111 0.06444 0.16637 0.12260 0.67837
LDF 8 0.18286 0.13995 0.10683 0.05993 0.22222 0.18138 0.68589
LDF 10 0.17714 0.13394 0.10460 0.05759 0.22408 0.18334 0.67895
INFLO 9 0.15429 0.10988 0.09660 0.04917 0.20442 0.16265 0.65797
INFLO 12 0.14571 0.10086 0.09824 0.05090 0.21008 0.16861 0.66555
INFLO 16 0.13714 0.09184 0.09668 0.04925 0.22180 0.18094 0.65440
COF 14 0.14000 0.09485 0.10692 0.06002 0.21101 0.16958 0.70850
COF 18 0.15429 0.10988 0.10578 0.05883 0.22002 0.17907 0.69526
COF 21 0.16571 0.12191 0.10348 0.05640 0.20947 0.16796 0.69583

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO