Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Annthyroid (7% of outliers)

This data set contains medical data on hypothyroidism. Three classes relate to the conditions normal, hyperfunction, and subnormal functioning. Classes other than normal condition were defined as outliers here.

Download all data set variants used (9.9 MB). You can also access the original data. (merge train and test [ann-test.data and ann-train.data])

Normalized, without duplicates

This version contains 21 attributes, 7129 objects, 534 outliers (7.49%)

Download raw algorithm results (61.9 MB) Download raw algorithm evaluation table (76.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.14045 0.07085 0.11526 0.04362 0.19473 0.12953 0.64897
KNNW 1 0.14607 0.07692 0.12089 0.04970 0.20425 0.13982 0.65941
KNNW 2 0.15356 0.08502 0.11734 0.04587 0.20007 0.13530 0.65597
LOF 9 0.17228 0.10526 0.12293 0.05191 0.21572 0.15222 0.66762
LOF 12 0.17041 0.10324 0.12506 0.05421 0.22677 0.16416 0.67277
LOF 21 0.13483 0.06478 0.12149 0.05035 0.23414 0.17212 0.66530
SimplifiedLOF 12 0.14607 0.07692 0.12051 0.04930 0.22036 0.15724 0.67239
SimplifiedLOF 13 0.15169 0.08300 0.12036 0.04913 0.21676 0.15334 0.67320
SimplifiedLOF 21 0.12734 0.05668 0.11929 0.04797 0.22364 0.16077 0.67874
LoOP 5 0.15918 0.09109 0.11819 0.04679 0.19891 0.13404 0.63876
LoOP 23 0.15169 0.08300 0.12341 0.05243 0.21689 0.15348 0.67722
LoOP 24 0.14607 0.07692 0.12334 0.05235 0.21765 0.15430 0.67838
LoOP 35 0.13483 0.06478 0.12212 0.05104 0.22179 0.15878 0.67527
LDOF 30 0.16854 0.10122 0.13357 0.06342 0.21857 0.15530 0.69210
LDOF 39 0.15918 0.09109 0.13233 0.06208 0.22038 0.15726 0.68912
ODIN 5 0.16383 0.09612 0.11760 0.04615 0.19440 0.12917 0.63929
ODIN 11 0.15468 0.08623 0.12349 0.05252 0.20756 0.14339 0.65884
ODIN 16 0.15712 0.08887 0.12547 0.05466 0.20676 0.14253 0.66269
ODIN 17 0.15302 0.08444 0.12490 0.05404 0.20431 0.13988 0.66500
FastABOD 4 0.09925 0.02632 0.10297 0.03034 0.18296 0.11681 0.62338
FastABOD 42 0.11423 0.04251 0.09814 0.02511 0.16765 0.10026 0.60037
KDEOS 20 0.15543 0.08705 0.12760 0.05696 0.19802 0.13308 0.66025
KDEOS 28 0.13670 0.06680 0.12816 0.05757 0.21190 0.14808 0.66837
KDEOS 39 0.14045 0.07085 0.12876 0.05821 0.20575 0.14144 0.67188
KDEOS 40 0.14232 0.07288 0.12993 0.05948 0.20452 0.14011 0.67084
LDF 8 0.18914 0.12348 0.12695 0.05625 0.22328 0.16039 0.65934
LDF 10 0.20599 0.14170 0.12694 0.05625 0.22853 0.16606 0.65557
LDF 11 0.21161 0.14777 0.12593 0.05516 0.22633 0.16368 0.65329
INFLO 3 0.15918 0.09109 0.11013 0.03808 0.18550 0.11955 0.61119
INFLO 14 0.15543 0.08705 0.11650 0.04496 0.21604 0.15257 0.65453
INFLO 17 0.15543 0.08705 0.11608 0.04451 0.21053 0.14660 0.65648
INFLO 43 0.10112 0.02834 0.10818 0.03597 0.22091 0.15782 0.63396
COF 15 0.16854 0.10122 0.11887 0.04752 0.20364 0.13916 0.66189
COF 16 0.15356 0.08502 0.11952 0.04823 0.20332 0.13882 0.66388
COF 25 0.14419 0.07490 0.12097 0.04979 0.22070 0.15760 0.66046
COF 33 0.15169 0.08300 0.12299 0.05197 0.21514 0.15159 0.66212

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 7200 objects, 534 outliers (7.42%)

Download raw algorithm results (62.4 MB) Download raw algorithm evaluation table (75.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.14045 0.07159 0.11524 0.04437 0.19466 0.13014 0.65266
KNNW 1 0.14607 0.07766 0.12093 0.05051 0.20431 0.14057 0.66323
KNNW 2 0.15356 0.08575 0.11736 0.04666 0.20014 0.13606 0.65973
LOF 12 0.16667 0.09991 0.12278 0.05250 0.22356 0.16136 0.66991
LOF 21 0.13858 0.06957 0.12037 0.04990 0.23335 0.17194 0.66400
SimplifiedLOF 10 0.14045 0.07159 0.11322 0.04219 0.20158 0.13762 0.65262
SimplifiedLOF 21 0.12921 0.05946 0.11711 0.04639 0.21646 0.15370 0.67381
SimplifiedLOF 24 0.12547 0.05541 0.11765 0.04697 0.21774 0.15507 0.67377
SimplifiedLOF 30 0.11236 0.04125 0.11696 0.04622 0.21934 0.15680 0.67100
LoOP 18 0.15543 0.08777 0.12140 0.05102 0.21158 0.14843 0.67332
LoOP 24 0.14981 0.08171 0.12240 0.05210 0.21689 0.15415 0.67682
LoOP 27 0.13858 0.06957 0.12220 0.05188 0.22142 0.15905 0.67489
LDOF 30 0.16667 0.09991 0.13240 0.06290 0.21616 0.15336 0.68972
LDOF 39 0.15918 0.09182 0.13161 0.06205 0.21869 0.15610 0.68807
ODIN 5 0.16214 0.09503 0.11671 0.04595 0.19390 0.12932 0.64035
ODIN 15 0.15727 0.08976 0.12390 0.05371 0.20733 0.14383 0.66166
ODIN 16 0.15627 0.08868 0.12477 0.05465 0.20462 0.14090 0.66347
ODIN 20 0.14976 0.08164 0.12375 0.05356 0.19891 0.13473 0.66708
FastABOD 4 0.09925 0.02709 0.10161 0.02965 0.18239 0.11689 0.62531
FastABOD 42 0.11423 0.04328 0.09815 0.02590 0.16775 0.10108 0.60471
KDEOS 20 0.15543 0.08777 0.12567 0.05562 0.19615 0.13176 0.65814
KDEOS 28 0.13670 0.06755 0.12657 0.05660 0.21100 0.14779 0.66768
KDEOS 39 0.13296 0.06350 0.12628 0.05628 0.20481 0.14111 0.67013
KDEOS 40 0.13670 0.06755 0.12746 0.05756 0.20451 0.14078 0.66897
LDF 8 0.16105 0.09384 0.11757 0.04688 0.20505 0.14137 0.64770
LDF 10 0.17041 0.10396 0.11948 0.04894 0.21869 0.15610 0.64625
LDF 12 0.18539 0.12014 0.11948 0.04894 0.21438 0.15144 0.64415
INFLO 14 0.15356 0.08575 0.11500 0.04411 0.21410 0.15114 0.65260
INFLO 17 0.15356 0.08575 0.11521 0.04433 0.20815 0.14471 0.65631
INFLO 41 0.10487 0.03316 0.10810 0.03665 0.21907 0.15652 0.64026
COF 26 0.14607 0.07766 0.11702 0.04629 0.21053 0.14728 0.65459
COF 31 0.15730 0.08980 0.12011 0.04962 0.20447 0.14074 0.65811
COF 32 0.15169 0.08373 0.12059 0.05014 0.20605 0.14245 0.66174

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 7129 objects, 534 outliers (7.49%)

Download raw algorithm results (61.4 MB) Download raw algorithm evaluation table (76.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.13483 0.06478 0.11493 0.04327 0.19868 0.13380 0.65072
KNNW 1 0.14794 0.07895 0.12306 0.05205 0.21321 0.14951 0.66563
LOF 10 0.19288 0.12753 0.13836 0.06860 0.24985 0.18911 0.68925
LOF 11 0.20037 0.13563 0.13850 0.06874 0.25326 0.19279 0.68630
LOF 15 0.15918 0.09109 0.13033 0.05991 0.25507 0.19475 0.67633
SimplifiedLOF 9 0.16105 0.09312 0.12911 0.05859 0.22966 0.16729 0.68757
SimplifiedLOF 12 0.15543 0.08705 0.13302 0.06282 0.24148 0.18006 0.70136
LoOP 10 0.18352 0.11741 0.13287 0.06266 0.23098 0.16871 0.68712
LoOP 17 0.17041 0.10324 0.13611 0.06616 0.23296 0.17085 0.70032
LoOP 30 0.16479 0.09717 0.13224 0.06198 0.24343 0.18217 0.68474
LDOF 23 0.18539 0.11943 0.15346 0.08491 0.24648 0.18547 0.72449
LDOF 25 0.19101 0.12551 0.15282 0.08423 0.24850 0.18765 0.71972
LDOF 27 0.19476 0.12956 0.15303 0.08445 0.24585 0.18479 0.71918
LDOF 32 0.18352 0.11741 0.15400 0.08550 0.24045 0.17895 0.71570
ODIN 8 0.18840 0.12269 0.13108 0.06072 0.21226 0.14848 0.66351
ODIN 15 0.18010 0.11371 0.13978 0.07013 0.21781 0.15448 0.67667
ODIN 18 0.17701 0.11037 0.13700 0.06712 0.21849 0.15521 0.67729
ODIN 41 0.17556 0.10881 0.12940 0.05890 0.22111 0.15804 0.65417
FastABOD 5 0.10674 0.03441 0.09914 0.02620 0.17715 0.11052 0.60722
FastABOD 70 0.11423 0.04251 0.09687 0.02375 0.17059 0.10343 0.58962
KDEOS 27 0.16292 0.09514 0.14532 0.07612 0.21435 0.15073 0.68750
KDEOS 31 0.15730 0.08907 0.14249 0.07305 0.21488 0.15131 0.68871
KDEOS 34 0.17041 0.10324 0.14343 0.07407 0.21401 0.15037 0.68801
KDEOS 36 0.17041 0.10324 0.14491 0.07567 0.21771 0.15436 0.68768
LDF 8 0.23221 0.17004 0.13917 0.06946 0.24846 0.18760 0.66815
LDF 9 0.22472 0.16194 0.13647 0.06655 0.25585 0.19559 0.66135
LDF 10 0.23970 0.17814 0.13697 0.06709 0.25470 0.19436 0.65893
INFLO 13 0.16667 0.09919 0.12732 0.05666 0.23564 0.17375 0.66974
INFLO 15 0.17228 0.10526 0.12676 0.05605 0.23849 0.17682 0.67072
INFLO 17 0.16479 0.09717 0.12585 0.05507 0.24444 0.18327 0.66835
COF 13 0.17041 0.10324 0.13014 0.05971 0.23464 0.17267 0.67417
COF 16 0.18539 0.11943 0.13132 0.06098 0.23373 0.17168 0.67460
COF 17 0.18727 0.12146 0.13118 0.06083 0.23087 0.16859 0.67511
COF 19 0.17228 0.10526 0.13114 0.06079 0.23162 0.16940 0.67529

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 7200 objects, 534 outliers (7.42%)

Download raw algorithm results (61.8 MB) Download raw algorithm evaluation table (75.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.13483 0.06552 0.11487 0.04397 0.19862 0.13442 0.65414
KNNW 1 0.14981 0.08171 0.12315 0.05291 0.21331 0.15029 0.66960
LOF 10 0.19288 0.12823 0.13768 0.06860 0.24877 0.18860 0.68960
LOF 11 0.19850 0.13430 0.13799 0.06894 0.25168 0.19173 0.68714
LOF 16 0.15356 0.08575 0.12956 0.05983 0.25468 0.19498 0.67820
SimplifiedLOF 10 0.16292 0.09586 0.12748 0.05759 0.23057 0.16893 0.68726
SimplifiedLOF 12 0.15543 0.08777 0.13072 0.06109 0.23821 0.17718 0.69711
SimplifiedLOF 20 0.13858 0.06957 0.12858 0.05877 0.23881 0.17783 0.69880
SimplifiedLOF 21 0.13858 0.06957 0.12828 0.05845 0.24192 0.18119 0.69793
LoOP 10 0.18727 0.12216 0.13188 0.06234 0.23052 0.16888 0.68524
LoOP 17 0.17041 0.10396 0.13569 0.06646 0.23359 0.17219 0.70020
LoOP 20 0.17416 0.10800 0.13591 0.06669 0.23906 0.17810 0.69941
LoOP 30 0.16479 0.09789 0.13203 0.06250 0.24532 0.18486 0.68491
LDOF 23 0.18914 0.12418 0.15319 0.08535 0.24618 0.18580 0.72405
LDOF 25 0.19101 0.12620 0.15307 0.08522 0.24877 0.18859 0.72080
LDOF 27 0.19476 0.13025 0.15309 0.08525 0.24731 0.18701 0.72014
LDOF 32 0.18539 0.12014 0.15404 0.08627 0.24257 0.18190 0.71632
ODIN 15 0.18249 0.11700 0.14037 0.07151 0.21886 0.15628 0.67993
ODIN 18 0.17816 0.11232 0.13791 0.06885 0.22061 0.15818 0.68100
ODIN 25 0.18839 0.12337 0.13479 0.06548 0.21983 0.15733 0.67222
ODIN 41 0.17659 0.11063 0.12941 0.05967 0.22173 0.15938 0.65646
FastABOD 5 0.10487 0.03316 0.09847 0.02625 0.17716 0.11124 0.60999
FastABOD 7 0.10300 0.03114 0.09886 0.02668 0.17571 0.10967 0.60985
FastABOD 71 0.11423 0.04328 0.09680 0.02445 0.17032 0.10386 0.59345
KDEOS 26 0.15543 0.08777 0.13758 0.06850 0.21654 0.15377 0.68561
KDEOS 33 0.15918 0.09182 0.13577 0.06654 0.21614 0.15334 0.68887
KDEOS 35 0.16105 0.09384 0.13612 0.06692 0.21942 0.15689 0.68844
KDEOS 47 0.16854 0.10193 0.13456 0.06523 0.20652 0.14295 0.67648
LDF 8 0.23034 0.16868 0.13577 0.06654 0.23890 0.17793 0.66469
LDF 10 0.23408 0.17273 0.13537 0.06610 0.25104 0.19104 0.66087
INFLO 9 0.17228 0.10598 0.12100 0.05058 0.22955 0.16783 0.65106
INFLO 13 0.16854 0.10193 0.12757 0.05768 0.23502 0.17374 0.67277
INFLO 15 0.17041 0.10396 0.12701 0.05707 0.23855 0.17755 0.67397
INFLO 17 0.16479 0.09789 0.12671 0.05675 0.24450 0.18397 0.67393
COF 15 0.17978 0.11407 0.12743 0.05753 0.21998 0.15749 0.66923
COF 16 0.18539 0.12014 0.12680 0.05685 0.22413 0.16197 0.66464
COF 19 0.17041 0.10396 0.12756 0.05767 0.22402 0.16186 0.66776
COF 20 0.17416 0.10800 0.12644 0.05646 0.22460 0.16249 0.66521

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO