Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Annthyroid (5% of outliers version#01)

This data set contains medical data on hypothyroidism. Three classes relate to the conditions normal, hyperfunction, and subnormal functioning. Classes other than normal condition were defined as outliers here.

Download all data set variants used (9.9 MB). You can also access the original data. (merge train and test [ann-test.data and ann-train.data])

Normalized, without duplicates

This version contains 21 attributes, 6942 objects, 347 outliers (5.00%)

Download raw algorithm results (60.3 MB) Download raw algorithm evaluation table (75.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.10375 0.05659 0.08512 0.03698 0.16137 0.11724 0.65619
KNNW 1 0.11816 0.07176 0.09074 0.04289 0.16650 0.12265 0.67752
LOF 3 0.15274 0.10816 0.09134 0.04353 0.18357 0.14062 0.64945
LOF 8 0.12968 0.08389 0.10487 0.05777 0.21106 0.16955 0.71143
LOF 9 0.12104 0.07479 0.10372 0.05656 0.20472 0.16288 0.71380
SimplifiedLOF 3 0.11816 0.07176 0.08543 0.03731 0.16847 0.12471 0.64834
SimplifiedLOF 12 0.10375 0.05659 0.10051 0.05318 0.19747 0.15525 0.71739
SimplifiedLOF 13 0.10086 0.05356 0.10017 0.05283 0.20000 0.15791 0.71927
SimplifiedLOF 14 0.09222 0.04446 0.09935 0.05196 0.20035 0.15827 0.71721
LoOP 13 0.13545 0.08996 0.10541 0.05834 0.19395 0.15154 0.71850
LoOP 16 0.14697 0.10209 0.10504 0.05795 0.19144 0.14890 0.71647
LoOP 23 0.12968 0.08389 0.10233 0.05510 0.19908 0.15694 0.71205
LDOF 25 0.15562 0.11119 0.11666 0.07018 0.20077 0.15872 0.73188
LDOF 26 0.16138 0.11726 0.11661 0.07013 0.20193 0.15994 0.73123
LDOF 32 0.16138 0.11726 0.11800 0.07159 0.20034 0.15827 0.72570
LDOF 45 0.13545 0.08996 0.11320 0.06654 0.20569 0.16390 0.71415
ODIN 16 0.14837 0.10356 0.10437 0.05724 0.17674 0.13343 0.70666
ODIN 17 0.15008 0.10536 0.10412 0.05698 0.17851 0.13529 0.70675
ODIN 33 0.14909 0.10432 0.10050 0.05317 0.18394 0.14101 0.68525
ODIN 48 0.15869 0.11442 0.09796 0.05049 0.18007 0.13693 0.66755
FastABOD 4 0.09222 0.04446 0.07515 0.02649 0.14341 0.09834 0.63677
FastABOD 9 0.10086 0.05356 0.07481 0.02613 0.14110 0.09591 0.62860
KDEOS 15 0.13256 0.08692 0.09714 0.04963 0.15222 0.10762 0.68455
KDEOS 34 0.12104 0.07479 0.10252 0.05529 0.17651 0.13318 0.70425
KDEOS 38 0.11527 0.06872 0.10346 0.05628 0.17160 0.12802 0.70704
KDEOS 40 0.11816 0.07176 0.10546 0.05840 0.17109 0.12748 0.70620
LDF 5 0.17003 0.12636 0.10082 0.05351 0.20666 0.16492 0.68097
LDF 6 0.16138 0.11726 0.09978 0.05242 0.19405 0.15164 0.68502
LDF 8 0.17291 0.12939 0.09734 0.04984 0.19430 0.15191 0.67730
INFLO 12 0.14121 0.09602 0.09296 0.04523 0.19011 0.14750 0.66345
INFLO 14 0.13833 0.09299 0.09421 0.04655 0.19263 0.15015 0.66552
INFLO 16 0.12104 0.07479 0.09216 0.04440 0.19813 0.15594 0.65637
COF 10 0.13545 0.08996 0.09475 0.04712 0.17427 0.13083 0.68581
COF 13 0.11816 0.07176 0.09884 0.05143 0.18967 0.14704 0.69415
COF 17 0.13256 0.08692 0.09917 0.05177 0.19830 0.15612 0.68960
COF 18 0.13256 0.08692 0.09937 0.05198 0.19683 0.15457 0.68839

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 7016 objects, 350 outliers (4.99%)

Download raw algorithm results (60.7 MB) Download raw algorithm evaluation table (72.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.10286 0.05575 0.08609 0.03810 0.16252 0.11855 0.66922
KNNW 1 0.11714 0.07079 0.08831 0.04044 0.15674 0.11246 0.67441
KNNW 3 0.10000 0.05275 0.08556 0.03754 0.16762 0.12391 0.67081
LOF 5 0.12857 0.08282 0.08932 0.04150 0.17241 0.12896 0.65908
LOF 9 0.11143 0.06477 0.09268 0.04504 0.18301 0.14011 0.68417
LOF 11 0.11143 0.06477 0.09285 0.04522 0.19325 0.15089 0.67883
LOF 18 0.05429 0.00463 0.08916 0.04134 0.20186 0.15996 0.67273
SimplifiedLOF 7 0.10286 0.05575 0.08553 0.03751 0.17084 0.12730 0.66984
SimplifiedLOF 11 0.09143 0.04372 0.08922 0.04140 0.17996 0.13690 0.68852
SimplifiedLOF 21 0.06571 0.01666 0.08827 0.04040 0.18084 0.13783 0.69094
SimplifiedLOF 32 0.05429 0.00463 0.08540 0.03738 0.18839 0.14577 0.67798
LoOP 16 0.13143 0.08582 0.09236 0.04471 0.17516 0.13185 0.68827
LoOP 21 0.12000 0.07380 0.09420 0.04664 0.17885 0.13573 0.69529
LoOP 39 0.09714 0.04974 0.09083 0.04309 0.19303 0.15066 0.68214
LDOF 28 0.14857 0.10387 0.10246 0.05534 0.17506 0.13175 0.70544
LDOF 30 0.14857 0.10387 0.10330 0.05621 0.17517 0.13186 0.70679
LDOF 34 0.13714 0.09184 0.10366 0.05660 0.18182 0.13886 0.70459
LDOF 48 0.13714 0.09184 0.10170 0.05453 0.18816 0.14554 0.69787
ODIN 20 0.12026 0.07407 0.08979 0.04200 0.16409 0.12020 0.68043
ODIN 23 0.13902 0.09382 0.09061 0.04287 0.16136 0.11733 0.67646
ODIN 44 0.12544 0.07952 0.09218 0.04451 0.17089 0.12736 0.66542
ODIN 77 0.12239 0.07631 0.08857 0.04072 0.18182 0.13886 0.64704
FastABOD 4 0.07714 0.02869 0.07342 0.02477 0.13780 0.09253 0.63967
FastABOD 8 0.08286 0.03470 0.07341 0.02476 0.13845 0.09322 0.63443
FastABOD 9 0.08571 0.03771 0.07346 0.02481 0.13688 0.09156 0.63347
FastABOD 40 0.09429 0.04673 0.07200 0.02328 0.13293 0.08741 0.62322
KDEOS 17 0.12571 0.07981 0.09194 0.04426 0.15295 0.10848 0.67213
KDEOS 20 0.11429 0.06778 0.09181 0.04413 0.16275 0.11879 0.67496
KDEOS 22 0.10857 0.06177 0.09324 0.04563 0.15778 0.11356 0.67784
KDEOS 23 0.10857 0.06177 0.09581 0.04834 0.15787 0.11365 0.67692
LDF 5 0.13143 0.08582 0.09275 0.04511 0.18990 0.14737 0.66730
LDF 6 0.13429 0.08883 0.09371 0.04613 0.19543 0.15319 0.66526
LDF 12 0.15143 0.10687 0.08613 0.03815 0.18648 0.14376 0.64509
INFLO 8 0.11143 0.06477 0.08330 0.03517 0.17147 0.12797 0.63944
INFLO 9 0.12286 0.07680 0.08432 0.03624 0.17726 0.13406 0.63867
INFLO 14 0.12857 0.08282 0.08192 0.03372 0.17374 0.13036 0.62275
INFLO 30 0.06571 0.01666 0.07991 0.03160 0.18901 0.14643 0.61812
COF 13 0.10000 0.05275 0.08627 0.03829 0.16460 0.12074 0.67148
COF 28 0.10857 0.06177 0.08895 0.04111 0.18256 0.13964 0.66459
COF 29 0.11714 0.07079 0.08852 0.04066 0.18528 0.14250 0.66280
COF 33 0.10857 0.06177 0.08789 0.04000 0.18546 0.14270 0.65971

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 6942 objects, 347 outliers (5.00%)

Download raw algorithm results (59.7 MB) Download raw algorithm evaluation table (75.5 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.10375 0.05659 0.08319 0.03496 0.15453 0.11004 0.65547
KNN 2 0.09798 0.05052 0.08011 0.03171 0.15684 0.11247 0.64755
KNNW 1 0.11239 0.06569 0.08984 0.04196 0.16883 0.12510 0.67853
LOF 4 0.16138 0.11726 0.09817 0.05072 0.19242 0.14993 0.67087
LOF 8 0.14697 0.10209 0.10583 0.05878 0.22491 0.18413 0.69591
LOF 10 0.13545 0.08996 0.10479 0.05769 0.22179 0.18084 0.69876
LOF 11 0.13256 0.08692 0.10369 0.05653 0.22558 0.18483 0.69285
SimplifiedLOF 6 0.13545 0.08996 0.10073 0.05342 0.20329 0.16137 0.70839
SimplifiedLOF 10 0.12104 0.07479 0.10456 0.05744 0.20848 0.16683 0.72545
SimplifiedLOF 11 0.10663 0.05962 0.10457 0.05746 0.21217 0.17072 0.72474
LoOP 3 0.17291 0.12939 0.09680 0.04928 0.17595 0.13260 0.67154
LoOP 10 0.15274 0.10816 0.11071 0.06392 0.20679 0.16506 0.72345
LoOP 12 0.15562 0.11119 0.11099 0.06421 0.21010 0.16854 0.72309
LoOP 17 0.14121 0.09602 0.11021 0.06340 0.22558 0.18483 0.71702
LDOF 15 0.17867 0.13546 0.12940 0.08359 0.21751 0.17634 0.75419
LDOF 16 0.17003 0.12636 0.13037 0.08461 0.22398 0.18315 0.75437
LDOF 17 0.17579 0.13243 0.13072 0.08499 0.22834 0.18774 0.75220
LDOF 24 0.17867 0.13546 0.13352 0.08793 0.21869 0.17758 0.74504
ODIN 11 0.17509 0.13168 0.11548 0.06894 0.19085 0.14827 0.69738
ODIN 17 0.17089 0.12726 0.11659 0.07011 0.20917 0.16756 0.69335
ODIN 25 0.18948 0.14684 0.11307 0.06640 0.20863 0.16699 0.68415
ODIN 34 0.17050 0.12686 0.10805 0.06112 0.21176 0.17029 0.67038
FastABOD 5 0.08646 0.03839 0.07332 0.02457 0.13959 0.09432 0.62217
FastABOD 6 0.09222 0.04446 0.07336 0.02461 0.13999 0.09474 0.62092
FastABOD 10 0.08646 0.03839 0.07225 0.02344 0.14039 0.09516 0.61575
KDEOS 26 0.14986 0.10513 0.12166 0.07544 0.17641 0.13308 0.71225
KDEOS 29 0.14121 0.09602 0.11746 0.07102 0.17839 0.13516 0.70910
KDEOS 41 0.15850 0.11423 0.11438 0.06778 0.17304 0.12953 0.69849
LDF 5 0.15562 0.11119 0.09816 0.05071 0.19604 0.15374 0.67108
LDF 6 0.17867 0.13546 0.09960 0.05223 0.19689 0.15464 0.66927
LDF 10 0.15850 0.11423 0.09408 0.04642 0.20168 0.15968 0.65487
INFLO 3 0.15562 0.11119 0.08758 0.03957 0.16981 0.12613 0.63751
INFLO 4 0.14986 0.10513 0.09301 0.04529 0.18327 0.14029 0.66117
INFLO 8 0.14697 0.10209 0.09671 0.04919 0.21267 0.17124 0.65837
INFLO 14 0.13256 0.08692 0.09344 0.04574 0.21676 0.17555 0.63773
COF 3 0.15274 0.10816 0.08994 0.04206 0.16891 0.12518 0.64813
COF 9 0.13256 0.08692 0.10196 0.05471 0.19589 0.15358 0.69923
COF 16 0.14409 0.09906 0.09906 0.05166 0.20190 0.15991 0.68042

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 7016 objects, 350 outliers (4.99%)

Download raw algorithm results (60.2 MB) Download raw algorithm evaluation table (72.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.10286 0.05575 0.08488 0.03683 0.16341 0.11949 0.67213
KNNW 1 0.11714 0.07079 0.09111 0.04339 0.17005 0.12647 0.68399
LOF 6 0.15143 0.10687 0.10248 0.05536 0.19965 0.15763 0.68983
LOF 8 0.14286 0.09785 0.10405 0.05701 0.21181 0.17042 0.69101
LOF 10 0.12571 0.07981 0.10311 0.05602 0.21421 0.17295 0.69690
LOF 12 0.11143 0.06477 0.09997 0.05271 0.22470 0.18399 0.68629
SimplifiedLOF 9 0.12000 0.07380 0.09780 0.05043 0.18709 0.14440 0.71283
SimplifiedLOF 10 0.11714 0.07079 0.09880 0.05148 0.19350 0.15116 0.71452
SimplifiedLOF 12 0.10857 0.06177 0.09921 0.05191 0.19971 0.15769 0.71431
SimplifiedLOF 27 0.05429 0.00463 0.09179 0.04411 0.20411 0.16233 0.69548
LoOP 12 0.15714 0.11289 0.10548 0.05851 0.19791 0.15580 0.71390
LoOP 16 0.14857 0.10387 0.10622 0.05929 0.21004 0.16856 0.71624
LoOP 32 0.12286 0.07680 0.10031 0.05307 0.21061 0.16917 0.69356
LDOF 20 0.17143 0.12792 0.12545 0.07953 0.20388 0.16207 0.74204
LDOF 32 0.16286 0.11890 0.12817 0.08239 0.21419 0.17293 0.73272
LDOF 34 0.15714 0.11289 0.12799 0.08221 0.21805 0.17699 0.72985
ODIN 19 0.16475 0.12090 0.10642 0.05950 0.18160 0.13862 0.69902
ODIN 24 0.17030 0.12674 0.10608 0.05915 0.18516 0.14237 0.69206
ODIN 30 0.16114 0.11710 0.10760 0.06074 0.19677 0.15460 0.68368
ODIN 34 0.15918 0.11504 0.10590 0.05895 0.20293 0.16107 0.67793
FastABOD 5 0.09143 0.04372 0.07253 0.02383 0.13902 0.09381 0.63039
FastABOD 7 0.08571 0.03771 0.07303 0.02436 0.13930 0.09411 0.62986
FastABOD 8 0.08286 0.03470 0.07262 0.02393 0.13993 0.09477 0.62926
KDEOS 35 0.12000 0.07380 0.10457 0.05756 0.17122 0.12770 0.69928
KDEOS 36 0.12000 0.07380 0.10523 0.05825 0.17257 0.12913 0.69767
KDEOS 42 0.14571 0.10086 0.10476 0.05775 0.17127 0.12775 0.69396
KDEOS 66 0.13714 0.09184 0.10609 0.05916 0.16401 0.12012 0.68425
LDF 5 0.16857 0.12492 0.10180 0.05464 0.20431 0.16253 0.68189
LDF 6 0.17429 0.13093 0.10369 0.05663 0.20951 0.16800 0.67667
LDF 8 0.18000 0.13695 0.10242 0.05529 0.21944 0.17846 0.66985
INFLO 8 0.14857 0.10387 0.08995 0.04217 0.18727 0.14460 0.65093
INFLO 30 0.06571 0.01666 0.08091 0.03265 0.20369 0.16188 0.61240
COF 10 0.14000 0.09485 0.09710 0.04969 0.18355 0.14068 0.68837
COF 11 0.14000 0.09485 0.09883 0.05151 0.19121 0.14874 0.69224
COF 14 0.12286 0.07680 0.09926 0.05197 0.20444 0.16266 0.68687
COF 18 0.12000 0.07380 0.09839 0.05105 0.21206 0.17069 0.68107

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO