Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Annthyroid (5% of outliers version#06)

This data set contains medical data on hypothyroidism. Three classes relate to the conditions normal, hyperfunction, and subnormal functioning. Classes other than normal condition were defined as outliers here.

Download all data set variants used (9.9 MB). You can also access the original data. (merge train and test [ann-test.data and ann-train.data])

Normalized, without duplicates

This version contains 21 attributes, 6942 objects, 347 outliers (5.00%)

Download raw algorithm results (60.3 MB) Download raw algorithm evaluation table (75.0 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.10375 0.05659 0.08432 0.03614 0.15036 0.10565 0.66263
KNN 4 0.08646 0.03839 0.07899 0.03053 0.15374 0.10921 0.64435
KNNW 1 0.10951 0.06266 0.08774 0.03974 0.15940 0.11517 0.67729
LOF 3 0.12968 0.08389 0.08503 0.03689 0.16625 0.12238 0.63102
LOF 10 0.10663 0.05962 0.09258 0.04484 0.18575 0.14291 0.68341
LOF 11 0.10663 0.05962 0.09338 0.04568 0.19459 0.15222 0.68249
LOF 23 0.05187 0.00199 0.08957 0.04167 0.20497 0.16314 0.66839
SimplifiedLOF 4 0.12104 0.07479 0.08607 0.03798 0.15920 0.11496 0.65841
SimplifiedLOF 11 0.09510 0.04749 0.09305 0.04533 0.18305 0.14007 0.69766
SimplifiedLOF 21 0.06052 0.01109 0.08999 0.04211 0.17832 0.13508 0.70008
SimplifiedLOF 30 0.05187 0.00199 0.08942 0.04151 0.19195 0.14943 0.69191
LoOP 12 0.12680 0.08086 0.09635 0.04880 0.18916 0.14649 0.69716
LoOP 13 0.13256 0.08692 0.09529 0.04769 0.18424 0.14132 0.69402
LoOP 17 0.12392 0.07782 0.09487 0.04725 0.17603 0.13267 0.70051
LoOP 38 0.09510 0.04749 0.09353 0.04584 0.19527 0.15293 0.69173
LDOF 16 0.12968 0.08389 0.10329 0.05610 0.18012 0.13698 0.71609
LDOF 28 0.14409 0.09906 0.10477 0.05767 0.18006 0.13692 0.71478
LDOF 50 0.11816 0.07176 0.10176 0.05450 0.18977 0.14714 0.70217
ODIN 21 0.12680 0.08086 0.08870 0.04076 0.14968 0.10494 0.67944
ODIN 40 0.13577 0.09029 0.09110 0.04328 0.16262 0.11856 0.66702
ODIN 53 0.12261 0.07644 0.09168 0.04389 0.16962 0.12593 0.65964
ODIN 81 0.12090 0.07464 0.09013 0.04226 0.18876 0.14608 0.64600
FastABOD 3 0.07493 0.02625 0.07317 0.02440 0.13953 0.09426 0.63839
FastABOD 4 0.07781 0.02929 0.07415 0.02543 0.13634 0.09090 0.64099
FastABOD 66 0.08934 0.04142 0.07028 0.02136 0.13008 0.08431 0.61728
KDEOS 15 0.13545 0.08996 0.09461 0.04697 0.15752 0.11319 0.68001
KDEOS 37 0.11816 0.07176 0.09805 0.05059 0.16340 0.11938 0.69417
KDEOS 39 0.11816 0.07176 0.09909 0.05169 0.16375 0.11975 0.69187
KDEOS 40 0.13256 0.08692 0.10084 0.05353 0.16201 0.11791 0.69207
LDF 7 0.15850 0.11423 0.09204 0.04426 0.18486 0.14197 0.66612
LDF 8 0.15562 0.11119 0.09499 0.04737 0.20000 0.15791 0.66799
LDF 11 0.15274 0.10816 0.09143 0.04363 0.20708 0.16536 0.65457
INFLO 1 0.12680 0.08086 0.07455 0.02585 0.12849 0.08264 0.58943
INFLO 10 0.10663 0.05962 0.08478 0.03662 0.17892 0.13572 0.64336
INFLO 32 0.06916 0.02019 0.08010 0.03170 0.19710 0.15485 0.60927
COF 2 0.11527 0.06872 0.07752 0.02898 0.14121 0.09602 0.61884
COF 16 0.11239 0.06569 0.08785 0.03986 0.16339 0.11937 0.67586
COF 27 0.09222 0.04446 0.09182 0.04403 0.18131 0.13824 0.66934
COF 31 0.08934 0.04142 0.09174 0.04395 0.18364 0.14068 0.66725

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 7016 objects, 350 outliers (4.99%)

Download raw algorithm results (60.8 MB) Download raw algorithm evaluation table (72.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.10857 0.06177 0.09061 0.04286 0.16735 0.12363 0.68717
KNN 2 0.10571 0.05876 0.08804 0.04016 0.17126 0.12775 0.67963
KNNW 1 0.12857 0.08282 0.09667 0.04924 0.16798 0.12429 0.69907
KNNW 7 0.10286 0.05575 0.08525 0.03722 0.16913 0.12550 0.67542
LOF 2 0.14286 0.09785 0.08206 0.03387 0.15992 0.11581 0.61838
LOF 8 0.12000 0.07380 0.09486 0.04734 0.18512 0.14233 0.68851
LOF 10 0.10857 0.06177 0.09486 0.04733 0.18847 0.14586 0.69352
LOF 16 0.06571 0.01666 0.09237 0.04472 0.19864 0.15656 0.68678
SimplifiedLOF 7 0.12000 0.07380 0.08727 0.03934 0.16825 0.12458 0.66991
SimplifiedLOF 12 0.09429 0.04673 0.09093 0.04320 0.18023 0.13719 0.69031
SimplifiedLOF 23 0.06000 0.01065 0.09083 0.04310 0.18206 0.13911 0.70084
SimplifiedLOF 42 0.04000 -0.01041 0.08554 0.03753 0.18708 0.14439 0.68754
LoOP 11 0.15143 0.10687 0.09666 0.04923 0.17737 0.13418 0.68778
LoOP 12 0.15143 0.10687 0.09724 0.04984 0.17792 0.13476 0.68979
LoOP 24 0.12000 0.07380 0.09635 0.04890 0.18157 0.13860 0.70271
LoOP 38 0.10000 0.05275 0.09263 0.04499 0.19217 0.14975 0.69399
LDOF 13 0.15714 0.11289 0.10782 0.06098 0.17469 0.13136 0.70101
LDOF 24 0.14286 0.09785 0.10813 0.06130 0.18396 0.14111 0.71743
LDOF 27 0.14571 0.10086 0.10839 0.06157 0.17807 0.13492 0.71801
LDOF 28 0.14571 0.10086 0.10778 0.06093 0.17764 0.13446 0.71839
ODIN 16 0.13371 0.08823 0.09995 0.05269 0.17143 0.12792 0.68514
ODIN 20 0.13857 0.09334 0.09778 0.05041 0.16433 0.12045 0.68922
ODIN 24 0.15254 0.10804 0.09535 0.04785 0.16209 0.11810 0.68210
ODIN 77 0.11983 0.07362 0.09227 0.04461 0.17736 0.13416 0.66354
FastABOD 4 0.09429 0.04673 0.07715 0.02869 0.14271 0.09770 0.65233
FastABOD 8 0.09714 0.04974 0.07778 0.02936 0.13984 0.09468 0.64984
FastABOD 67 0.10286 0.05575 0.07367 0.02503 0.13543 0.09004 0.62836
KDEOS 14 0.14857 0.10387 0.09568 0.04819 0.16039 0.11630 0.67394
KDEOS 17 0.13143 0.08582 0.09931 0.05201 0.16323 0.11930 0.68197
KDEOS 24 0.13143 0.08582 0.10360 0.05653 0.15903 0.11488 0.69180
KDEOS 31 0.12571 0.07981 0.09991 0.05265 0.16095 0.11690 0.69398
LDF 6 0.12571 0.07981 0.09299 0.04537 0.19048 0.14797 0.67683
LDF 12 0.14000 0.09485 0.09113 0.04341 0.20063 0.15866 0.65705
INFLO 2 0.13429 0.08883 0.07857 0.03019 0.14680 0.10200 0.61637
INFLO 10 0.12286 0.07680 0.08594 0.03795 0.17769 0.13451 0.63944
INFLO 40 0.05714 0.00764 0.07659 0.02811 0.19082 0.14833 0.61258
COF 5 0.12857 0.08282 0.08078 0.03251 0.14409 0.09915 0.64007
COF 16 0.09429 0.04673 0.09030 0.04254 0.16762 0.12391 0.69132
COF 30 0.10000 0.05275 0.09384 0.04627 0.18609 0.14335 0.68704
COF 33 0.10000 0.05275 0.09392 0.04635 0.18537 0.14260 0.68612

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 6942 objects, 347 outliers (5.00%)

Download raw algorithm results (59.7 MB) Download raw algorithm evaluation table (75.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.11239 0.06569 0.08261 0.03434 0.15191 0.10729 0.66058
KNN 4 0.08357 0.03536 0.07800 0.02949 0.15455 0.11006 0.64181
KNNW 1 0.12104 0.07479 0.09003 0.04215 0.16417 0.12019 0.68510
LOF 6 0.14409 0.09906 0.09758 0.05010 0.19279 0.15032 0.67996
LOF 10 0.11816 0.07176 0.10452 0.05740 0.22182 0.18088 0.69510
LOF 11 0.11527 0.06872 0.10407 0.05693 0.22387 0.18303 0.69244
SimplifiedLOF 7 0.12392 0.07782 0.09543 0.04784 0.19111 0.14855 0.70018
SimplifiedLOF 11 0.09798 0.05052 0.10193 0.05468 0.20450 0.16265 0.72210
SimplifiedLOF 19 0.06628 0.01715 0.09685 0.04933 0.20643 0.16468 0.71344
LoOP 9 0.14409 0.09906 0.10303 0.05583 0.19569 0.15337 0.71468
LoOP 12 0.14121 0.09602 0.10565 0.05860 0.20105 0.15901 0.72249
LoOP 25 0.12968 0.08389 0.10332 0.05614 0.21513 0.17383 0.70508
LDOF 20 0.16427 0.12029 0.12161 0.07539 0.20570 0.16391 0.74403
LDOF 31 0.16715 0.12333 0.12523 0.07921 0.21847 0.17735 0.73349
LDOF 32 0.16427 0.12029 0.12534 0.07931 0.21770 0.17654 0.73138
LDOF 38 0.15850 0.11423 0.12224 0.07605 0.22554 0.18479 0.72171
ODIN 12 0.14908 0.10430 0.10295 0.05575 0.17817 0.13492 0.69619
ODIN 26 0.16060 0.11643 0.10483 0.05773 0.19338 0.15094 0.68142
ODIN 34 0.15285 0.10828 0.10381 0.05666 0.20579 0.16401 0.67248
ODIN 68 0.16625 0.12238 0.10020 0.05285 0.18899 0.14632 0.65399
FastABOD 4 0.09222 0.04446 0.07072 0.02183 0.13144 0.08574 0.62834
FastABOD 5 0.08934 0.04142 0.07190 0.02307 0.13585 0.09039 0.63023
KDEOS 29 0.12680 0.08086 0.10821 0.06129 0.18462 0.14171 0.70782
KDEOS 31 0.12680 0.08086 0.10681 0.05981 0.17673 0.13341 0.70820
KDEOS 47 0.15274 0.10816 0.10735 0.06038 0.17313 0.12962 0.69539
KDEOS 66 0.14409 0.09906 0.11266 0.06598 0.16626 0.12239 0.68568
LDF 7 0.18444 0.14153 0.10217 0.05493 0.21303 0.17163 0.67553
LDF 8 0.19020 0.14759 0.10278 0.05558 0.21728 0.17610 0.67037
INFLO 4 0.13545 0.08996 0.08311 0.03487 0.16586 0.12197 0.63033
INFLO 10 0.13256 0.08692 0.09272 0.04498 0.20308 0.16115 0.65111
INFLO 14 0.11239 0.06569 0.08937 0.04146 0.20725 0.16554 0.63482
COF 10 0.15274 0.10816 0.09802 0.05056 0.18830 0.14559 0.69184
COF 12 0.12968 0.08389 0.09908 0.05168 0.19122 0.14867 0.69537
COF 17 0.13256 0.08692 0.09985 0.05249 0.20102 0.15898 0.68841
COF 20 0.12680 0.08086 0.09772 0.05025 0.20875 0.16712 0.68097

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 7016 objects, 350 outliers (4.99%)

Download raw algorithm results (60.2 MB) Download raw algorithm evaluation table (72.5 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.11429 0.06778 0.08923 0.04141 0.16495 0.12110 0.68653
KNN 3 0.10857 0.06177 0.08465 0.03659 0.16787 0.12417 0.66921
KNNW 1 0.13143 0.08582 0.09792 0.05056 0.17621 0.13296 0.70472
LOF 6 0.15143 0.10687 0.10156 0.05438 0.20086 0.15891 0.69178
LOF 8 0.13714 0.09184 0.10775 0.06091 0.22222 0.18138 0.70659
LOF 10 0.12571 0.07981 0.10760 0.06075 0.22415 0.18342 0.71270
LOF 11 0.12000 0.07380 0.10666 0.05975 0.22753 0.18697 0.70358
SimplifiedLOF 7 0.12571 0.07981 0.09537 0.04788 0.17927 0.13618 0.70007
SimplifiedLOF 12 0.11143 0.06477 0.10173 0.05457 0.20240 0.16052 0.72259
SimplifiedLOF 14 0.10286 0.05575 0.10071 0.05349 0.20090 0.15894 0.72566
SimplifiedLOF 25 0.06000 0.01065 0.09765 0.05028 0.21356 0.17227 0.71415
LoOP 7 0.16286 0.11890 0.10315 0.05606 0.18080 0.13779 0.70719
LoOP 12 0.15143 0.10687 0.10790 0.06106 0.19735 0.15520 0.72623
LoOP 20 0.13714 0.09184 0.10892 0.06214 0.20787 0.16627 0.72561
LoOP 28 0.12286 0.07680 0.10518 0.05820 0.22082 0.17991 0.71207
LDOF 21 0.17429 0.13093 0.12715 0.08132 0.20120 0.15926 0.75196
LDOF 23 0.18000 0.13695 0.12887 0.08313 0.20808 0.16650 0.75105
LDOF 32 0.17143 0.12792 0.12952 0.08382 0.21659 0.17546 0.74140
LDOF 34 0.16000 0.11590 0.12929 0.08357 0.21895 0.17795 0.73885
ODIN 13 0.17194 0.12846 0.11117 0.06450 0.18223 0.13929 0.70622
ODIN 32 0.17742 0.13423 0.10633 0.05940 0.18591 0.14316 0.68012
ODIN 45 0.16614 0.12236 0.10586 0.05891 0.19789 0.15577 0.67864
FastABOD 7 0.10000 0.05275 0.07556 0.02703 0.13784 0.09257 0.64054
FastABOD 8 0.10000 0.05275 0.07565 0.02711 0.13938 0.09419 0.63922
KDEOS 12 0.14571 0.10086 0.10165 0.05449 0.16754 0.12383 0.68442
KDEOS 21 0.14000 0.09485 0.10786 0.06102 0.16445 0.12058 0.70398
KDEOS 27 0.12000 0.07380 0.10524 0.05826 0.17361 0.13022 0.71065
KDEOS 28 0.12286 0.07680 0.10666 0.05976 0.17298 0.12956 0.71232
LDF 7 0.18571 0.14296 0.10803 0.06120 0.21684 0.17572 0.69472
LDF 8 0.18286 0.13995 0.11002 0.06329 0.22722 0.18664 0.68941
INFLO 7 0.14571 0.10086 0.08774 0.03984 0.18384 0.14099 0.63622
INFLO 8 0.13714 0.09184 0.09222 0.04456 0.19419 0.15188 0.65560
INFLO 24 0.07714 0.02869 0.08439 0.03631 0.21136 0.16995 0.62431
COF 10 0.13429 0.08883 0.09830 0.05096 0.18502 0.14222 0.69488
COF 21 0.13429 0.08883 0.10073 0.05351 0.20711 0.16548 0.69289
COF 22 0.13143 0.08582 0.10061 0.05339 0.20764 0.16604 0.69471

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO