Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Annthyroid (5% of outliers version#05)

This data set contains medical data on hypothyroidism. Three classes relate to the conditions normal, hyperfunction, and subnormal functioning. Classes other than normal condition were defined as outliers here.

Download all data set variants used (9.9 MB). You can also access the original data. (merge train and test [ann-test.data and ann-train.data])

Normalized, without duplicates

This version contains 21 attributes, 6942 objects, 347 outliers (5.00%)

Download raw algorithm results (60.3 MB) Download raw algorithm evaluation table (75.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.10375 0.05659 0.08688 0.03883 0.16667 0.12282 0.66247
KNN 2 0.10951 0.06266 0.08282 0.03457 0.16092 0.11677 0.65102
KNNW 1 0.11816 0.07176 0.09048 0.04262 0.17097 0.12735 0.67545
LOF 3 0.14986 0.10513 0.08475 0.03660 0.16891 0.12518 0.61861
LOF 8 0.12104 0.07479 0.09847 0.05104 0.18910 0.14643 0.70301
LOF 9 0.10951 0.06266 0.09826 0.05082 0.18798 0.14525 0.70767
LOF 12 0.10951 0.06266 0.09692 0.04940 0.20149 0.15948 0.69915
SimplifiedLOF 3 0.11816 0.07176 0.08118 0.03283 0.15789 0.11359 0.63458
SimplifiedLOF 12 0.09798 0.05052 0.09512 0.04751 0.18171 0.13866 0.70637
SimplifiedLOF 14 0.09222 0.04446 0.09400 0.04633 0.18150 0.13844 0.70674
SimplifiedLOF 30 0.04611 -0.00408 0.08956 0.04166 0.19008 0.14747 0.69776
LoOP 12 0.13833 0.09299 0.09934 0.05195 0.18374 0.14079 0.70621
LoOP 22 0.12104 0.07479 0.09724 0.04974 0.18613 0.14330 0.70678
LoOP 39 0.09510 0.04749 0.09254 0.04479 0.18959 0.14695 0.69442
LDOF 28 0.15274 0.10816 0.10884 0.06195 0.18418 0.14126 0.71936
LDOF 29 0.15274 0.10816 0.10905 0.06217 0.18495 0.14206 0.71956
LDOF 32 0.13833 0.09299 0.10935 0.06249 0.18582 0.14299 0.71721
LDOF 45 0.13833 0.09299 0.10689 0.05990 0.19615 0.15386 0.71117
ODIN 14 0.14421 0.09918 0.09992 0.05256 0.17588 0.13251 0.68824
ODIN 19 0.14476 0.09976 0.09733 0.04983 0.16573 0.12183 0.69504
ODIN 44 0.14881 0.10403 0.09420 0.04654 0.16164 0.11753 0.66679
FastABOD 3 0.08646 0.03839 0.07609 0.02748 0.13758 0.09220 0.63284
FastABOD 4 0.07781 0.02929 0.07562 0.02698 0.13582 0.09035 0.63591
FastABOD 6 0.08069 0.03232 0.07415 0.02543 0.13875 0.09344 0.63326
FastABOD 16 0.09222 0.04446 0.07339 0.02464 0.13571 0.09023 0.62415
KDEOS 15 0.13256 0.08692 0.09605 0.04849 0.16162 0.11750 0.69088
KDEOS 39 0.11816 0.07176 0.10335 0.05617 0.17064 0.12701 0.70374
KDEOS 42 0.11239 0.06569 0.10360 0.05644 0.16230 0.11823 0.70095
LDF 6 0.17003 0.12636 0.09997 0.05262 0.19795 0.15575 0.68352
LDF 8 0.17579 0.13243 0.09817 0.05072 0.20493 0.16310 0.68003
INFLO 3 0.13833 0.09299 0.08278 0.03452 0.17261 0.12908 0.60928
INFLO 14 0.12968 0.08389 0.08755 0.03954 0.18294 0.13995 0.64730
INFLO 31 0.06340 0.01412 0.07886 0.03039 0.18713 0.14436 0.60650
COF 8 0.13545 0.08996 0.09061 0.04277 0.16667 0.12282 0.67432
COF 14 0.11239 0.06569 0.09423 0.04657 0.18722 0.14446 0.68739
COF 15 0.10663 0.05962 0.09371 0.04603 0.18732 0.14456 0.68652

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 7016 objects, 350 outliers (4.99%)

Download raw algorithm results (60.8 MB) Download raw algorithm evaluation table (72.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.10286 0.05575 0.08911 0.04128 0.17525 0.13195 0.67240
KNNW 1 0.12000 0.07380 0.09172 0.04403 0.16277 0.11881 0.68380
KNNW 2 0.11714 0.07079 0.08965 0.04185 0.16911 0.12549 0.67999
LOF 3 0.13143 0.08582 0.08572 0.03772 0.16693 0.12319 0.63372
LOF 10 0.10571 0.05876 0.09845 0.05111 0.20176 0.15985 0.69723
LOF 19 0.05429 0.00463 0.09458 0.04705 0.21305 0.17173 0.68973
SimplifiedLOF 7 0.10571 0.05876 0.08665 0.03869 0.16638 0.12261 0.68227
SimplifiedLOF 19 0.06857 0.01967 0.09319 0.04558 0.18989 0.14735 0.70844
SimplifiedLOF 23 0.06000 0.01065 0.09395 0.04638 0.19798 0.15587 0.70715
SimplifiedLOF 28 0.04571 -0.00439 0.09281 0.04518 0.20129 0.15936 0.70226
LoOP 14 0.13429 0.08883 0.09866 0.05133 0.18502 0.14223 0.70694
LoOP 21 0.12286 0.07680 0.09953 0.05225 0.19154 0.14909 0.71316
LoOP 23 0.12000 0.07380 0.09966 0.05239 0.19837 0.15628 0.71217
LoOP 38 0.10000 0.05275 0.09636 0.04892 0.20270 0.16084 0.70220
LDOF 24 0.12857 0.08282 0.11029 0.06357 0.19190 0.14947 0.72876
LDOF 31 0.14571 0.10086 0.11099 0.06432 0.19349 0.15115 0.72455
LDOF 36 0.13429 0.08883 0.11139 0.06473 0.19807 0.15597 0.72166
LDOF 45 0.12286 0.07680 0.11096 0.06428 0.20258 0.16071 0.71766
ODIN 8 0.14064 0.09552 0.09535 0.04785 0.17050 0.12694 0.68152
ODIN 18 0.13409 0.08862 0.09896 0.05165 0.17674 0.13351 0.69800
ODIN 20 0.13900 0.09379 0.09859 0.05126 0.17636 0.13312 0.70157
ODIN 96 0.12943 0.08372 0.09327 0.04566 0.18467 0.14186 0.65598
FastABOD 4 0.08571 0.03771 0.07517 0.02661 0.14052 0.09539 0.64470
FastABOD 5 0.08857 0.04072 0.07475 0.02617 0.14067 0.09555 0.64129
FastABOD 9 0.09714 0.04974 0.07525 0.02669 0.13719 0.09189 0.63830
KDEOS 26 0.11429 0.06778 0.10133 0.05415 0.16311 0.11917 0.69963
KDEOS 41 0.12571 0.07981 0.10256 0.05543 0.15967 0.11555 0.69735
KDEOS 42 0.13429 0.08883 0.10211 0.05496 0.16192 0.11791 0.69692
KDEOS 96 0.10571 0.05876 0.09236 0.04470 0.16441 0.12054 0.68324
LDF 6 0.13714 0.09184 0.09497 0.04745 0.19462 0.15234 0.67539
LDF 8 0.13143 0.08582 0.09400 0.04643 0.19437 0.15207 0.67682
LDF 10 0.14857 0.10387 0.09183 0.04414 0.19868 0.15660 0.66531
INFLO 8 0.12286 0.07680 0.08689 0.03894 0.17376 0.13038 0.65186
INFLO 13 0.12857 0.08282 0.08531 0.03728 0.17790 0.13474 0.63648
INFLO 29 0.07143 0.02267 0.08311 0.03497 0.19771 0.15559 0.62934
COF 10 0.12286 0.07680 0.08728 0.03936 0.16635 0.12258 0.67465
COF 14 0.09429 0.04673 0.08946 0.04165 0.17610 0.13284 0.68317
COF 29 0.10286 0.05575 0.09480 0.04727 0.18902 0.14644 0.68092
COF 30 0.10857 0.06177 0.09524 0.04773 0.18675 0.14405 0.67866

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 6942 objects, 347 outliers (5.00%)

Download raw algorithm results (59.7 MB) Download raw algorithm evaluation table (75.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.10375 0.05659 0.08390 0.03570 0.15385 0.10933 0.65965
KNN 2 0.10086 0.05356 0.08198 0.03367 0.15786 0.11355 0.64961
KNNW 1 0.11816 0.07176 0.09003 0.04215 0.16626 0.12239 0.68245
LOF 6 0.17003 0.12636 0.10314 0.05595 0.20659 0.16485 0.69066
LOF 8 0.15274 0.10816 0.10507 0.05799 0.21607 0.17482 0.69351
LOF 10 0.13256 0.08692 0.10460 0.05749 0.21504 0.17374 0.70011
LOF 11 0.12968 0.08389 0.10332 0.05614 0.22395 0.18312 0.69400
SimplifiedLOF 7 0.13256 0.08692 0.09802 0.05056 0.18503 0.14215 0.70363
SimplifiedLOF 11 0.11239 0.06569 0.10159 0.05432 0.19943 0.15731 0.71908
SimplifiedLOF 13 0.10375 0.05659 0.10009 0.05274 0.20183 0.15984 0.71552
LoOP 10 0.15850 0.11423 0.10748 0.06052 0.19450 0.15212 0.71758
LoOP 11 0.15274 0.10816 0.10694 0.05995 0.19328 0.15083 0.71801
LoOP 12 0.16427 0.12029 0.10739 0.06042 0.19870 0.15654 0.71696
LoOP 16 0.14697 0.10209 0.10604 0.05900 0.21035 0.16881 0.71479
LDOF 20 0.18732 0.14456 0.12729 0.08137 0.20493 0.16310 0.74964
LDOF 23 0.18156 0.13849 0.12789 0.08200 0.21143 0.16994 0.74368
LDOF 35 0.17867 0.13546 0.12595 0.07996 0.21808 0.17694 0.72754
ODIN 14 0.17590 0.13254 0.11177 0.06504 0.18766 0.14492 0.69438
ODIN 16 0.17362 0.13014 0.11034 0.06353 0.18569 0.14284 0.69701
ODIN 34 0.17332 0.12983 0.10303 0.05583 0.19272 0.15024 0.67139
FastABOD 4 0.08646 0.03839 0.07230 0.02349 0.13233 0.08668 0.62430
FastABOD 5 0.08357 0.03536 0.07271 0.02392 0.13522 0.08971 0.62623
FastABOD 7 0.08646 0.03839 0.07294 0.02417 0.13593 0.09047 0.62456
FastABOD 8 0.08357 0.03536 0.07247 0.02367 0.13650 0.09107 0.62366
KDEOS 23 0.15850 0.11423 0.11131 0.06456 0.17287 0.12935 0.70467
KDEOS 27 0.13833 0.09299 0.11685 0.07038 0.18131 0.13823 0.70855
KDEOS 29 0.12680 0.08086 0.11394 0.06732 0.18871 0.14602 0.70955
KDEOS 32 0.12104 0.07479 0.11286 0.06618 0.18896 0.14629 0.70749
LDF 6 0.19885 0.15669 0.10719 0.06021 0.22690 0.18622 0.67839
LDF 7 0.18732 0.14456 0.10279 0.05558 0.21333 0.17194 0.67895
INFLO 7 0.15274 0.10816 0.08917 0.04125 0.18779 0.14505 0.63564
INFLO 12 0.13256 0.08692 0.09372 0.04603 0.20405 0.16217 0.65065
INFLO 15 0.11527 0.06872 0.09023 0.04236 0.21329 0.17190 0.62699
COF 9 0.14697 0.10209 0.09955 0.05217 0.18725 0.14448 0.69765
COF 10 0.14697 0.10209 0.10095 0.05365 0.19736 0.15513 0.69804
COF 13 0.12680 0.08086 0.10068 0.05337 0.19469 0.15232 0.69938
COF 16 0.12680 0.08086 0.09977 0.05240 0.20093 0.15889 0.69436

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 7016 objects, 350 outliers (4.99%)

Download raw algorithm results (60.2 MB) Download raw algorithm evaluation table (72.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.10286 0.05575 0.08653 0.03857 0.15889 0.11473 0.66732
KNNW 1 0.12286 0.07680 0.09269 0.04505 0.17405 0.13069 0.68768
LOF 6 0.14857 0.10387 0.10375 0.05669 0.21336 0.17206 0.69158
LOF 8 0.14286 0.09785 0.11021 0.06350 0.23458 0.19439 0.69854
LOF 10 0.12571 0.07981 0.11014 0.06341 0.24558 0.20597 0.70752
LOF 11 0.12571 0.07981 0.10941 0.06265 0.24977 0.21038 0.70485
SimplifiedLOF 9 0.12286 0.07680 0.10235 0.05521 0.20590 0.16421 0.72191
SimplifiedLOF 12 0.10571 0.05876 0.10487 0.05787 0.21841 0.17738 0.72515
SimplifiedLOF 14 0.09429 0.04673 0.10352 0.05645 0.22414 0.18340 0.72386
LoOP 3 0.14857 0.10387 0.08673 0.03878 0.15809 0.11389 0.64910
LoOP 16 0.14000 0.09485 0.11043 0.06372 0.22406 0.18332 0.72708
LoOP 20 0.13429 0.08883 0.11044 0.06374 0.21707 0.17596 0.72602
LDOF 15 0.17143 0.12792 0.12395 0.07795 0.21104 0.16962 0.75302
LDOF 20 0.16571 0.12191 0.12872 0.08297 0.21655 0.17541 0.75475
LDOF 24 0.16286 0.11890 0.13128 0.08567 0.22709 0.18651 0.74922
LDOF 35 0.16571 0.12191 0.12938 0.08367 0.23015 0.18973 0.73467
ODIN 19 0.16804 0.12435 0.11450 0.06800 0.19794 0.15582 0.70839
ODIN 21 0.17852 0.13539 0.11357 0.06703 0.19795 0.15584 0.70781
ODIN 34 0.16528 0.12146 0.11000 0.06327 0.21563 0.17444 0.68949
FastABOD 4 0.10000 0.05275 0.07365 0.02501 0.13273 0.08720 0.62583
FastABOD 6 0.09429 0.04673 0.07288 0.02420 0.13642 0.09108 0.62602
FastABOD 10 0.09714 0.04974 0.07213 0.02342 0.13650 0.09116 0.62142
KDEOS 25 0.14000 0.09485 0.10499 0.05800 0.16499 0.12115 0.70237
KDEOS 63 0.15143 0.10687 0.10464 0.05763 0.16682 0.12307 0.68984
KDEOS 68 0.13429 0.08883 0.10642 0.05950 0.17164 0.12814 0.68949
KDEOS 90 0.10286 0.05575 0.10165 0.05448 0.18065 0.13763 0.68606
LDF 8 0.17714 0.13394 0.10454 0.05753 0.22244 0.18161 0.67850
INFLO 8 0.14286 0.09785 0.09227 0.04461 0.19407 0.15176 0.65455
INFLO 12 0.13143 0.08582 0.09627 0.04881 0.21578 0.17461 0.66109
INFLO 15 0.12000 0.07380 0.09458 0.04704 0.22593 0.18529 0.64828
COF 10 0.12286 0.07680 0.09709 0.04969 0.19873 0.15666 0.69149
COF 15 0.13143 0.08582 0.09930 0.05201 0.20728 0.16566 0.68442
COF 16 0.12571 0.07981 0.09893 0.05162 0.20815 0.16658 0.68152
COF 21 0.13714 0.09184 0.09689 0.04948 0.19920 0.15715 0.68098

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO