Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Annthyroid (5% of outliers version#09)

This data set contains medical data on hypothyroidism. Three classes relate to the conditions normal, hyperfunction, and subnormal functioning. Classes other than normal condition were defined as outliers here.

Download all data set variants used (9.9 MB). You can also access the original data. (merge train and test [ann-test.data and ann-train.data])

Normalized, without duplicates

This version contains 21 attributes, 6942 objects, 347 outliers (5.00%)

Download raw algorithm results (60.3 MB) Download raw algorithm evaluation table (74.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.10086 0.05356 0.08058 0.03220 0.14876 0.10397 0.64816
KNNW 1 0.11816 0.07176 0.08458 0.03641 0.15057 0.10588 0.65909
LOF 3 0.13833 0.09299 0.08292 0.03467 0.17195 0.12839 0.61108
LOF 10 0.10663 0.05962 0.09126 0.04345 0.17418 0.13073 0.69009
LOF 11 0.11239 0.06569 0.09200 0.04423 0.18478 0.14189 0.68733
LOF 18 0.06052 0.01109 0.08795 0.03996 0.18626 0.14344 0.68027
SimplifiedLOF 2 0.10086 0.05356 0.07698 0.02842 0.15442 0.10993 0.61411
SimplifiedLOF 13 0.09510 0.04749 0.08911 0.04118 0.16983 0.12615 0.69459
SimplifiedLOF 19 0.06916 0.02019 0.08782 0.03982 0.17882 0.13561 0.69632
SimplifiedLOF 26 0.06340 0.01412 0.08722 0.03920 0.18207 0.13904 0.68956
LoOP 12 0.12680 0.08086 0.09225 0.04449 0.17200 0.12843 0.68874
LoOP 18 0.11816 0.07176 0.09361 0.04592 0.17538 0.13199 0.69763
LoOP 19 0.11527 0.06872 0.09359 0.04589 0.17626 0.13292 0.69949
LoOP 36 0.09510 0.04749 0.09043 0.04257 0.18592 0.14308 0.68577
LDOF 23 0.12680 0.08086 0.10059 0.05327 0.18118 0.13810 0.70633
LDOF 29 0.13545 0.08996 0.10121 0.05392 0.17871 0.13549 0.70528
LDOF 44 0.09798 0.05052 0.09767 0.05019 0.18457 0.14166 0.69577
ODIN 4 0.14064 0.09543 0.08830 0.04033 0.17152 0.12793 0.65356
ODIN 17 0.11626 0.06977 0.09230 0.04454 0.15920 0.11496 0.68543
FastABOD 4 0.07781 0.02929 0.07108 0.02220 0.12962 0.08382 0.62257
FastABOD 10 0.08357 0.03536 0.06948 0.02052 0.13021 0.08445 0.61076
FastABOD 27 0.09222 0.04446 0.06820 0.01917 0.12382 0.07772 0.60154
KDEOS 11 0.12680 0.08086 0.09119 0.04337 0.15463 0.11015 0.65437
KDEOS 13 0.12392 0.07782 0.09540 0.04780 0.16445 0.12048 0.66969
KDEOS 15 0.12680 0.08086 0.09568 0.04810 0.15861 0.11434 0.67643
KDEOS 37 0.11816 0.07176 0.09174 0.04396 0.15262 0.10803 0.68377
LDF 6 0.15274 0.10816 0.09192 0.04414 0.17330 0.12980 0.67474
LDF 7 0.14697 0.10209 0.09297 0.04525 0.18574 0.14290 0.67594
LDF 8 0.14697 0.10209 0.09440 0.04675 0.19361 0.15118 0.67012
INFLO 2 0.13545 0.08996 0.08099 0.03264 0.15304 0.10848 0.61928
INFLO 14 0.11239 0.06569 0.08121 0.03287 0.16914 0.12543 0.62966
INFLO 24 0.07493 0.02625 0.07801 0.02949 0.17852 0.13530 0.61375
COF 4 0.11816 0.07176 0.08081 0.03244 0.15146 0.10681 0.62233
COF 16 0.10951 0.06266 0.08927 0.04135 0.17091 0.12728 0.67735
COF 17 0.11239 0.06569 0.08991 0.04203 0.17176 0.12818 0.67596
COF 19 0.11527 0.06872 0.08946 0.04155 0.17841 0.13519 0.67097

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 7016 objects, 350 outliers (4.99%)

Download raw algorithm results (60.8 MB) Download raw algorithm evaluation table (72.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.11143 0.06477 0.08935 0.04153 0.17056 0.12700 0.68212
KNNW 1 0.12000 0.07380 0.09477 0.04724 0.17711 0.13390 0.69412
LOF 2 0.11429 0.06778 0.07434 0.02574 0.14236 0.09732 0.60100
LOF 10 0.11429 0.06778 0.09759 0.05021 0.19063 0.14813 0.70514
LOF 12 0.11143 0.06477 0.09897 0.05166 0.20625 0.16457 0.70347
LOF 19 0.04571 -0.00439 0.09469 0.04715 0.21134 0.16994 0.69406
SimplifiedLOF 9 0.10286 0.05575 0.08858 0.04072 0.16888 0.12524 0.68325
SimplifiedLOF 13 0.10000 0.05275 0.09323 0.04561 0.18469 0.14189 0.70451
SimplifiedLOF 21 0.05429 0.00463 0.09292 0.04529 0.18686 0.14417 0.70785
SimplifiedLOF 26 0.04857 -0.00138 0.09251 0.04486 0.19372 0.15139 0.70442
LoOP 14 0.13429 0.08883 0.09835 0.05100 0.18753 0.14487 0.70594
LoOP 16 0.12857 0.08282 0.09883 0.05151 0.18919 0.14662 0.70801
LoOP 19 0.12571 0.07981 0.09856 0.05123 0.18346 0.14059 0.71175
LoOP 38 0.09429 0.04673 0.09575 0.04827 0.19620 0.15399 0.70497
LDOF 28 0.15429 0.10988 0.11054 0.06384 0.18635 0.14363 0.72606
LDOF 30 0.16000 0.11590 0.11115 0.06448 0.18973 0.14719 0.72553
LDOF 34 0.15714 0.11289 0.11247 0.06587 0.19295 0.15058 0.72510
LDOF 35 0.15143 0.10687 0.11203 0.06541 0.19593 0.15372 0.72361
ODIN 19 0.12824 0.08247 0.09479 0.04726 0.16685 0.12311 0.69821
ODIN 47 0.14000 0.09485 0.09796 0.05060 0.17439 0.13104 0.67865
ODIN 85 0.13893 0.09372 0.09493 0.04741 0.18526 0.14249 0.66289
ODIN 99 0.14672 0.10192 0.09515 0.04764 0.17760 0.13442 0.66220
FastABOD 4 0.08000 0.03170 0.07692 0.02845 0.14922 0.10455 0.65128
FastABOD 7 0.08286 0.03470 0.07712 0.02866 0.14921 0.10454 0.64888
FastABOD 14 0.09429 0.04673 0.07630 0.02780 0.15115 0.10659 0.64273
KDEOS 18 0.12571 0.07981 0.09859 0.05127 0.15199 0.10746 0.67788
KDEOS 39 0.11143 0.06477 0.10075 0.05353 0.16455 0.12069 0.69634
KDEOS 40 0.10857 0.06177 0.10085 0.05364 0.16431 0.12044 0.69371
KDEOS 99 0.10857 0.06177 0.09362 0.04603 0.16667 0.12291 0.69195
LDF 8 0.12286 0.07680 0.09571 0.04823 0.19833 0.15624 0.68465
LDF 11 0.14857 0.10387 0.09215 0.04448 0.19057 0.14807 0.66876
INFLO 14 0.12571 0.07981 0.08871 0.04086 0.18435 0.14152 0.66174
INFLO 32 0.06857 0.01967 0.08165 0.03343 0.19490 0.15262 0.62634
COF 16 0.09714 0.04974 0.09246 0.04481 0.18329 0.14041 0.68979
COF 21 0.10857 0.06177 0.09210 0.04443 0.18799 0.14536 0.68043
COF 23 0.12286 0.07680 0.09233 0.04468 0.18170 0.13873 0.68270
COF 31 0.11143 0.06477 0.09418 0.04662 0.18395 0.14110 0.68593

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 6942 objects, 347 outliers (5.00%)

Download raw algorithm results (59.7 MB) Download raw algorithm evaluation table (75.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.09654 0.04901 0.07919 0.03074 0.14296 0.09787 0.65033
KNN 3 0.08934 0.04142 0.07508 0.02642 0.14317 0.09809 0.63373
KNNW 1 0.11527 0.06872 0.08642 0.03835 0.15448 0.11000 0.66556
LOF 3 0.15562 0.11119 0.09035 0.04249 0.17766 0.13439 0.63193
LOF 10 0.11527 0.06872 0.10114 0.05384 0.20550 0.16370 0.70141
LOF 11 0.10951 0.06266 0.09999 0.05263 0.20951 0.16791 0.69426
SimplifiedLOF 3 0.13545 0.08996 0.08875 0.04080 0.16879 0.12505 0.65589
SimplifiedLOF 12 0.09510 0.04749 0.09897 0.05156 0.19008 0.14747 0.71828
SimplifiedLOF 13 0.09510 0.04749 0.09831 0.05087 0.19556 0.15323 0.71878
SimplifiedLOF 18 0.07493 0.02625 0.09413 0.04646 0.19935 0.15722 0.71236
LoOP 3 0.15562 0.11119 0.09221 0.04444 0.16676 0.12292 0.65354
LoOP 13 0.13256 0.08692 0.10445 0.05733 0.19132 0.14877 0.71885
LoOP 16 0.12392 0.07782 0.10427 0.05714 0.20061 0.15855 0.72029
LoOP 18 0.12104 0.07479 0.10395 0.05680 0.20414 0.16227 0.71528
LDOF 16 0.15850 0.11423 0.11773 0.07130 0.19871 0.15655 0.74084
LDOF 20 0.15562 0.11119 0.12072 0.07446 0.20770 0.16601 0.74504
LDOF 23 0.14986 0.10513 0.12095 0.07470 0.20558 0.16378 0.74185
LDOF 33 0.15274 0.10816 0.11924 0.07290 0.21232 0.17088 0.72576
ODIN 13 0.15656 0.11219 0.10978 0.06294 0.19227 0.14977 0.69608
ODIN 35 0.13709 0.09169 0.09898 0.05157 0.19243 0.14993 0.66893
ODIN 79 0.16061 0.11644 0.09499 0.04737 0.17333 0.12984 0.64542
FastABOD 5 0.08357 0.03536 0.06986 0.02091 0.13071 0.08498 0.61047
FastABOD 6 0.08646 0.03839 0.06989 0.02095 0.13073 0.08500 0.60955
FastABOD 8 0.08357 0.03536 0.06881 0.01981 0.13138 0.08568 0.60616
KDEOS 11 0.10951 0.06266 0.10992 0.06308 0.16230 0.11822 0.67559
KDEOS 23 0.16138 0.11726 0.10713 0.06015 0.16812 0.12435 0.70266
KDEOS 28 0.14409 0.09906 0.10889 0.06200 0.17082 0.12719 0.70508
KDEOS 30 0.13256 0.08692 0.10734 0.06037 0.18211 0.13907 0.70303
LDF 6 0.17291 0.12939 0.09961 0.05223 0.19287 0.15040 0.67720
LDF 8 0.16427 0.12029 0.09924 0.05185 0.19686 0.15460 0.68425
LDF 9 0.15850 0.11423 0.09604 0.04848 0.20339 0.16148 0.67505
INFLO 2 0.14121 0.09602 0.08247 0.03419 0.16009 0.11590 0.61613
INFLO 4 0.13545 0.08996 0.08788 0.03988 0.17195 0.12838 0.64697
INFLO 10 0.12104 0.07479 0.08893 0.04100 0.18959 0.14695 0.64247
INFLO 15 0.10663 0.05962 0.08672 0.03866 0.19691 0.15465 0.62527
COF 3 0.15274 0.10816 0.08972 0.04183 0.16448 0.12052 0.64216
COF 12 0.12968 0.08389 0.09528 0.04768 0.18100 0.13791 0.68993
COF 15 0.12680 0.08086 0.09714 0.04963 0.18849 0.14579 0.68739
COF 16 0.12392 0.07782 0.09677 0.04924 0.19646 0.15418 0.68474

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 7016 objects, 350 outliers (4.99%)

Download raw algorithm results (60.2 MB) Download raw algorithm evaluation table (72.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.11143 0.06477 0.08645 0.03849 0.16381 0.11991 0.67641
KNNW 1 0.12000 0.07380 0.09302 0.04540 0.17358 0.13019 0.69401
LOF 8 0.15714 0.11289 0.10901 0.06222 0.22164 0.18077 0.70494
LOF 10 0.13429 0.08883 0.11118 0.06451 0.23301 0.19274 0.71574
LOF 11 0.13429 0.08883 0.11158 0.06493 0.24535 0.20573 0.71361
SimplifiedLOF 9 0.11143 0.06477 0.10002 0.05276 0.20132 0.15938 0.71322
SimplifiedLOF 11 0.11143 0.06477 0.10359 0.05652 0.21348 0.17219 0.72272
SimplifiedLOF 12 0.10571 0.05876 0.10484 0.05784 0.21206 0.17069 0.72669
LoOP 12 0.13714 0.09184 0.10958 0.06283 0.21333 0.17203 0.73119
LoOP 14 0.14571 0.10086 0.11038 0.06367 0.21118 0.16976 0.72929
LoOP 15 0.14286 0.09785 0.11055 0.06385 0.21184 0.17046 0.72897
LoOP 16 0.13714 0.09184 0.11041 0.06370 0.21765 0.17657 0.72805
LDOF 23 0.18571 0.14296 0.13245 0.08690 0.22060 0.17968 0.75776
LDOF 30 0.17143 0.12792 0.12905 0.08332 0.22222 0.18138 0.74658
ODIN 14 0.16112 0.11708 0.11158 0.06494 0.20792 0.16633 0.70676
ODIN 19 0.17134 0.12783 0.11069 0.06400 0.19479 0.15251 0.70871
ODIN 47 0.18526 0.14248 0.10854 0.06173 0.19906 0.15701 0.67830
FastABOD 7 0.08286 0.03470 0.07265 0.02396 0.13796 0.09270 0.63175
FastABOD 8 0.08000 0.03170 0.07270 0.02401 0.13745 0.09217 0.63093
FastABOD 10 0.08286 0.03470 0.07256 0.02386 0.14033 0.09519 0.62914
FastABOD 38 0.08571 0.03771 0.07208 0.02336 0.13704 0.09173 0.62129
KDEOS 24 0.14857 0.10387 0.10660 0.05969 0.17013 0.12655 0.70852
KDEOS 32 0.11429 0.06778 0.10278 0.05567 0.18659 0.14388 0.70791
LDF 8 0.18286 0.13995 0.10796 0.06112 0.23277 0.19248 0.68432
INFLO 8 0.14000 0.09485 0.09349 0.04590 0.19523 0.15298 0.66300
INFLO 10 0.13714 0.09184 0.09509 0.04758 0.20923 0.16771 0.66206
INFLO 15 0.12286 0.07680 0.09340 0.04580 0.21277 0.17143 0.65276
COF 15 0.13143 0.08582 0.10350 0.05643 0.20775 0.16615 0.70458
COF 16 0.13143 0.08582 0.10304 0.05594 0.21293 0.17160 0.69861
COF 23 0.14857 0.10387 0.09750 0.05011 0.19250 0.15011 0.68582

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO