Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Annthyroid (5% of outliers version#04)

This data set contains medical data on hypothyroidism. Three classes relate to the conditions normal, hyperfunction, and subnormal functioning. Classes other than normal condition were defined as outliers here.

Download all data set variants used (9.9 MB). You can also access the original data. (merge train and test [ann-test.data and ann-train.data])

Normalized, without duplicates

This version contains 21 attributes, 6942 objects, 347 outliers (5.00%)

Download raw algorithm results (60.3 MB) Download raw algorithm evaluation table (75.2 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.10951 0.06266 0.08931 0.04140 0.16447 0.12051 0.67140
KNNW 1 0.12104 0.07479 0.09421 0.04655 0.16837 0.12462 0.68316
LOF 3 0.15274 0.10816 0.09285 0.04512 0.18513 0.14225 0.63874
LOF 10 0.10951 0.06266 0.10180 0.05454 0.20265 0.16070 0.70400
LOF 11 0.12680 0.08086 0.10262 0.05540 0.21285 0.17143 0.70251
SimplifiedLOF 3 0.12680 0.08086 0.08999 0.04211 0.17257 0.12903 0.65899
SimplifiedLOF 11 0.10375 0.05659 0.09933 0.05194 0.20029 0.15821 0.70936
SimplifiedLOF 12 0.09222 0.04446 0.09909 0.05169 0.20000 0.15791 0.71037
LoOP 11 0.13833 0.09299 0.10405 0.05691 0.20141 0.15939 0.70847
LoOP 16 0.14986 0.10513 0.10272 0.05551 0.18720 0.14444 0.70544
LoOP 18 0.14121 0.09602 0.10277 0.05556 0.18509 0.14221 0.71120
LDOF 15 0.14697 0.10209 0.11321 0.06655 0.19864 0.15648 0.72409
LDOF 30 0.17579 0.13243 0.11453 0.06794 0.19372 0.15129 0.72050
LDOF 32 0.17003 0.12636 0.11463 0.06804 0.18490 0.14202 0.72058
ODIN 4 0.13141 0.08571 0.09080 0.04296 0.17985 0.13670 0.66440
ODIN 14 0.14708 0.10220 0.10149 0.05422 0.17391 0.13045 0.68665
ODIN 17 0.14148 0.09631 0.10005 0.05270 0.17192 0.12835 0.69048
ODIN 45 0.16295 0.11890 0.09661 0.04907 0.16837 0.12462 0.65791
FastABOD 3 0.09798 0.05052 0.07765 0.02912 0.14727 0.10240 0.64963
FastABOD 4 0.10086 0.05356 0.07881 0.03034 0.14435 0.09933 0.65385
KDEOS 14 0.15562 0.11119 0.09910 0.05170 0.15991 0.11571 0.67782
KDEOS 29 0.12680 0.08086 0.10400 0.05685 0.17418 0.13073 0.69787
KDEOS 37 0.12392 0.07782 0.10626 0.05923 0.16954 0.12584 0.70253
KDEOS 38 0.12392 0.07782 0.10706 0.06008 0.17012 0.12646 0.70147
LDF 6 0.17867 0.13546 0.10169 0.05442 0.20211 0.16013 0.68397
LDF 8 0.16138 0.11726 0.09966 0.05228 0.20807 0.16640 0.68148
INFLO 3 0.14409 0.09906 0.08970 0.04180 0.18462 0.14171 0.63428
INFLO 10 0.12680 0.08086 0.09224 0.04448 0.19463 0.15225 0.65595
INFLO 11 0.12968 0.08389 0.09138 0.04357 0.19956 0.15744 0.64784
INFLO 14 0.12968 0.08389 0.09218 0.04442 0.18647 0.14366 0.65987
COF 6 0.13545 0.08996 0.08896 0.04103 0.16863 0.12489 0.65887
COF 12 0.10951 0.06266 0.09525 0.04764 0.18273 0.13973 0.68967
COF 15 0.10951 0.06266 0.09623 0.04867 0.19409 0.15169 0.68747
COF 16 0.10951 0.06266 0.09668 0.04915 0.19181 0.14929 0.68917

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 7016 objects, 350 outliers (4.99%)

Download raw algorithm results (60.8 MB) Download raw algorithm evaluation table (72.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.10286 0.05575 0.08275 0.03459 0.15479 0.11041 0.65716
KNNW 1 0.10857 0.06177 0.08670 0.03875 0.16057 0.11650 0.67068
LOF 6 0.13429 0.08883 0.09304 0.04542 0.17719 0.13399 0.68225
LOF 10 0.10857 0.06177 0.09523 0.04773 0.18874 0.14615 0.69511
LOF 11 0.11429 0.06778 0.09653 0.04909 0.19420 0.15189 0.69452
LOF 18 0.05143 0.00162 0.08885 0.04100 0.19605 0.15384 0.67398
SimplifiedLOF 9 0.09714 0.04974 0.08827 0.04040 0.16901 0.12538 0.68854
SimplifiedLOF 11 0.08857 0.04072 0.09013 0.04236 0.17772 0.13455 0.69712
SimplifiedLOF 12 0.08571 0.03771 0.08995 0.04216 0.17603 0.13277 0.69781
SimplifiedLOF 23 0.05429 0.00463 0.08914 0.04132 0.18674 0.14404 0.69159
LoOP 12 0.12286 0.07680 0.09489 0.04737 0.17813 0.13497 0.70140
LoOP 13 0.13429 0.08883 0.09486 0.04733 0.17666 0.13343 0.69993
LoOP 17 0.12857 0.08282 0.09524 0.04774 0.17935 0.13626 0.69906
LoOP 32 0.08571 0.03771 0.09294 0.04531 0.18742 0.14475 0.69165
LDOF 24 0.13714 0.09184 0.10716 0.06028 0.18215 0.13921 0.71674
LDOF 28 0.15429 0.10988 0.10775 0.06090 0.18660 0.14390 0.71610
ODIN 11 0.11980 0.07358 0.09441 0.04686 0.17564 0.13235 0.68640
ODIN 15 0.12892 0.08318 0.09739 0.05000 0.16746 0.12375 0.68989
ODIN 19 0.13010 0.08442 0.09512 0.04761 0.16909 0.12546 0.69171
ODIN 70 0.14059 0.09547 0.08777 0.03988 0.16427 0.12039 0.64625
FastABOD 4 0.07429 0.02568 0.06986 0.02102 0.13121 0.08560 0.62833
FastABOD 8 0.08857 0.04072 0.07011 0.02128 0.12928 0.08356 0.62257
KDEOS 32 0.10571 0.05876 0.09647 0.04903 0.16675 0.12300 0.69109
KDEOS 37 0.12286 0.07680 0.09905 0.05175 0.16631 0.12254 0.69595
KDEOS 40 0.12286 0.07680 0.10228 0.05514 0.16513 0.12129 0.69373
KDEOS 42 0.12857 0.08282 0.09956 0.05228 0.16595 0.12216 0.69400
LDF 6 0.12286 0.07680 0.09329 0.04569 0.19127 0.14881 0.67452
LDF 11 0.13714 0.09184 0.08432 0.03624 0.17321 0.12980 0.64749
INFLO 7 0.11714 0.07079 0.07960 0.03127 0.16220 0.11821 0.63018
INFLO 12 0.11714 0.07079 0.08601 0.03802 0.18106 0.13807 0.64943
INFLO 14 0.11143 0.06477 0.08634 0.03837 0.17995 0.13689 0.64872
INFLO 24 0.06857 0.01967 0.07941 0.03107 0.18563 0.14287 0.61308
COF 13 0.08857 0.04072 0.08822 0.04034 0.17189 0.12841 0.68031
COF 17 0.09714 0.04974 0.08809 0.04021 0.18007 0.13702 0.66617
COF 21 0.12286 0.07680 0.08739 0.03947 0.17701 0.13380 0.65843
COF 33 0.09429 0.04673 0.08860 0.04075 0.16750 0.12379 0.65578

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 6942 objects, 347 outliers (5.00%)

Download raw algorithm results (59.7 MB) Download raw algorithm evaluation table (75.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.11239 0.06569 0.08802 0.04004 0.15762 0.11330 0.67171
KNN 3 0.10663 0.05962 0.08342 0.03519 0.15990 0.11569 0.65479
KNNW 1 0.12680 0.08086 0.09593 0.04836 0.17358 0.13010 0.68504
LOF 6 0.15562 0.11119 0.10816 0.06124 0.21320 0.17180 0.70575
LOF 8 0.14986 0.10513 0.10928 0.06241 0.22000 0.17896 0.71015
SimplifiedLOF 5 0.12968 0.08389 0.09682 0.04930 0.18370 0.14075 0.69644
SimplifiedLOF 11 0.11816 0.07176 0.10580 0.05875 0.20398 0.16209 0.73245
SimplifiedLOF 18 0.07781 0.02929 0.09942 0.05203 0.20857 0.16693 0.72178
LoOP 7 0.16138 0.11726 0.10730 0.06033 0.18825 0.14554 0.71403
LoOP 11 0.14697 0.10209 0.11130 0.06454 0.20131 0.15929 0.73095
LoOP 15 0.15562 0.11119 0.11278 0.06610 0.20826 0.16660 0.73063
LoOP 18 0.15850 0.11423 0.11110 0.06433 0.21207 0.17061 0.72347
LDOF 20 0.17867 0.13546 0.13479 0.08926 0.21222 0.17077 0.75329
LDOF 22 0.18156 0.13849 0.13511 0.08961 0.21034 0.16879 0.75257
LDOF 23 0.17867 0.13546 0.13563 0.09015 0.21041 0.16887 0.75240
LDOF 31 0.16427 0.12029 0.13361 0.08802 0.21357 0.17219 0.74163
ODIN 9 0.16384 0.11984 0.11007 0.06325 0.18378 0.14084 0.70665
ODIN 14 0.17654 0.13321 0.11626 0.06976 0.19741 0.15518 0.70069
ODIN 23 0.19038 0.14778 0.11155 0.06480 0.19048 0.14788 0.68979
ODIN 27 0.18724 0.14447 0.11133 0.06457 0.19862 0.15646 0.67834
FastABOD 4 0.10663 0.05962 0.07579 0.02716 0.13873 0.09341 0.63914
FastABOD 5 0.10375 0.05659 0.07646 0.02787 0.14140 0.09622 0.63938
FastABOD 6 0.10663 0.05962 0.07661 0.02802 0.14273 0.09762 0.63932
FastABOD 8 0.10086 0.05356 0.07558 0.02694 0.14298 0.09789 0.63491
KDEOS 24 0.13545 0.08996 0.11288 0.06620 0.17788 0.13462 0.71734
KDEOS 27 0.13545 0.08996 0.11655 0.07007 0.18166 0.13860 0.71641
KDEOS 36 0.13256 0.08692 0.11353 0.06689 0.19242 0.14993 0.71073
KDEOS 39 0.15562 0.11119 0.11141 0.06466 0.18165 0.13859 0.70787
LDF 5 0.17579 0.13243 0.10820 0.06127 0.21462 0.17330 0.69110
LDF 6 0.19597 0.15366 0.10885 0.06196 0.22059 0.17958 0.68641
INFLO 3 0.14986 0.10513 0.08401 0.03582 0.15920 0.11496 0.62649
INFLO 8 0.14409 0.09906 0.09777 0.05030 0.20045 0.15838 0.67495
INFLO 15 0.12968 0.08389 0.09373 0.04605 0.21325 0.17185 0.64383
COF 11 0.14986 0.10513 0.10178 0.05452 0.19440 0.15201 0.69701
COF 12 0.12968 0.08389 0.10218 0.05494 0.19107 0.14850 0.70296
COF 15 0.13545 0.08996 0.10270 0.05549 0.20216 0.16018 0.69853
COF 16 0.14121 0.09602 0.10170 0.05444 0.20561 0.16381 0.69421

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 7016 objects, 350 outliers (4.99%)

Download raw algorithm results (60.2 MB) Download raw algorithm evaluation table (72.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.10000 0.05275 0.08074 0.03247 0.14820 0.10347 0.65280
KNN 3 0.08000 0.03170 0.07749 0.02906 0.15483 0.11045 0.63976
KNNW 1 0.11429 0.06778 0.08843 0.04057 0.16770 0.12400 0.67985
LOF 6 0.14571 0.10086 0.09999 0.05274 0.20299 0.16114 0.69000
LOF 10 0.13143 0.08582 0.10241 0.05528 0.21978 0.17881 0.69302
LOF 11 0.12857 0.08282 0.10298 0.05589 0.23092 0.19054 0.68917
SimplifiedLOF 7 0.11429 0.06778 0.09153 0.04383 0.18036 0.13732 0.69305
SimplifiedLOF 11 0.10571 0.05876 0.09992 0.05266 0.20174 0.15983 0.71657
SimplifiedLOF 21 0.05143 0.00162 0.09453 0.04699 0.20369 0.16188 0.70677
LoOP 12 0.14286 0.09785 0.10565 0.05869 0.20411 0.16232 0.71834
LoOP 13 0.14571 0.10086 0.10564 0.05868 0.20068 0.15871 0.71644
LoOP 26 0.12286 0.07680 0.10140 0.05422 0.21053 0.16907 0.69955
LDOF 16 0.14571 0.10086 0.11909 0.07284 0.21040 0.16894 0.74373
LDOF 23 0.17429 0.13093 0.12450 0.07853 0.21833 0.17729 0.74078
LDOF 25 0.17143 0.12792 0.12533 0.07940 0.21826 0.17721 0.73639
ODIN 12 0.15394 0.10951 0.10790 0.06106 0.18453 0.14171 0.69941
ODIN 18 0.16122 0.11717 0.11052 0.06382 0.19243 0.15003 0.69686
ODIN 32 0.16962 0.12602 0.10104 0.05384 0.18957 0.14702 0.66710
ODIN 35 0.16543 0.12161 0.09994 0.05268 0.19447 0.15218 0.66284
FastABOD 5 0.09143 0.04372 0.06959 0.02074 0.13025 0.08459 0.61702
FastABOD 6 0.09429 0.04673 0.06958 0.02072 0.12986 0.08417 0.61618
FastABOD 7 0.09429 0.04673 0.06988 0.02104 0.12948 0.08378 0.61563
KDEOS 26 0.12000 0.07380 0.10949 0.06273 0.17598 0.13271 0.70712
KDEOS 27 0.11429 0.06778 0.10709 0.06021 0.17778 0.13461 0.70869
KDEOS 32 0.09714 0.04974 0.10438 0.05735 0.18168 0.13872 0.70652
KDEOS 42 0.14571 0.10086 0.10395 0.05690 0.17172 0.12823 0.69906
LDF 4 0.17714 0.13394 0.09809 0.05074 0.19820 0.15610 0.66416
LDF 6 0.17143 0.12792 0.10092 0.05372 0.20386 0.16206 0.67336
LDF 8 0.17143 0.12792 0.09862 0.05130 0.21063 0.16919 0.66323
INFLO 8 0.12857 0.08282 0.08939 0.04158 0.19211 0.14969 0.64924
INFLO 9 0.13143 0.08582 0.08791 0.04002 0.19549 0.15325 0.64037
INFLO 12 0.12857 0.08282 0.09174 0.04405 0.20660 0.16494 0.64886
INFLO 14 0.11714 0.07079 0.09018 0.04241 0.21103 0.16961 0.63612
COF 11 0.12000 0.07380 0.09770 0.05032 0.19939 0.15735 0.68908
COF 15 0.12000 0.07380 0.09553 0.04804 0.20854 0.16698 0.67826
COF 18 0.13429 0.08883 0.09386 0.04628 0.19748 0.15535 0.66900

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO