Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

SpamBase (5% of outliers version#01)

A data set representing emails classified as spam (outliers) or nonspam.

Download all data set variants used (25.4 MB). You can also access the original data. (spambase.data)

Normalized, without duplicates

This version contains 57 attributes, 2661 objects, 133 outliers (5.00%)

Download raw algorithm results (23.8 MB) Download raw algorithm evaluation table (72.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.15789 0.11359 0.13078 0.08505 0.22541 0.18466 0.75480
KNN 2 0.15789 0.11359 0.13443 0.08889 0.22420 0.18338 0.76778
KNN 3 0.16541 0.12151 0.13350 0.08792 0.21891 0.17781 0.76358
KNNW 1 0.16541 0.12151 0.12858 0.08273 0.23111 0.19066 0.70679
KNNW 4 0.15789 0.11359 0.13377 0.08819 0.23507 0.19482 0.75770
KNNW 6 0.15038 0.10568 0.13180 0.08613 0.22932 0.18878 0.76011
LOF 24 0.03759 -0.01304 0.09561 0.04803 0.19804 0.15585 0.75289
LOF 56 0.14286 0.09776 0.11032 0.06351 0.19676 0.15450 0.73196
LOF 82 0.13534 0.08985 0.11771 0.07129 0.22115 0.18018 0.74682
LOF 86 0.12782 0.08193 0.12087 0.07462 0.22005 0.17902 0.74664
SimplifiedLOF 36 0.01504 -0.03678 0.08618 0.03811 0.18880 0.14613 0.73006
SimplifiedLOF 43 0.02256 -0.02887 0.08462 0.03646 0.18969 0.14706 0.72528
SimplifiedLOF 83 0.15038 0.10568 0.09694 0.04943 0.16912 0.12541 0.69795
SimplifiedLOF 100 0.14286 0.09776 0.10101 0.05371 0.16946 0.12576 0.70185
LoOP 88 0.15789 0.11359 0.11984 0.07353 0.19839 0.15621 0.74303
LoOP 91 0.15038 0.10568 0.12053 0.07426 0.20070 0.15865 0.74464
LoOP 94 0.15038 0.10568 0.12090 0.07465 0.19672 0.15446 0.74506
LoOP 95 0.15038 0.10568 0.12213 0.07594 0.19617 0.15388 0.74446
LDOF 44 0.09023 0.04236 0.09021 0.04235 0.17569 0.13232 0.71923
LDOF 94 0.14286 0.09776 0.11873 0.07237 0.17149 0.12790 0.72193
LDOF 99 0.15038 0.10568 0.11966 0.07334 0.17163 0.12805 0.71995
LDOF 100 0.15038 0.10568 0.11984 0.07353 0.17343 0.12995 0.71993
ODIN 8 0.11203 0.06531 0.07370 0.02496 0.12600 0.08002 0.62702
ODIN 100 0.10526 0.05819 0.10157 0.05431 0.19113 0.14857 0.72643
FastABOD 7 0.13534 0.08985 0.11504 0.06849 0.20935 0.16775 0.72464
FastABOD 8 0.12782 0.08193 0.11522 0.06867 0.21561 0.17435 0.72561
FastABOD 93 0.13534 0.08985 0.12248 0.07632 0.20068 0.15863 0.72117
KDEOS 7 0.12030 0.07402 0.06744 0.01837 0.12537 0.07936 0.56414
KDEOS 19 0.07519 0.02653 0.08297 0.03472 0.12731 0.08139 0.60604
KDEOS 22 0.09023 0.04236 0.07493 0.02627 0.14118 0.09599 0.61658
KDEOS 33 0.06015 0.01070 0.06716 0.01808 0.13427 0.08872 0.62789
LDF 6 0.09774 0.05028 0.09947 0.05209 0.21311 0.17172 0.74468
LDF 7 0.10526 0.05819 0.10592 0.05888 0.21266 0.17124 0.76915
LDF 58 0.11278 0.06610 0.07043 0.02152 0.13029 0.08454 0.60203
INFLO 49 0.14286 0.09776 0.10491 0.05782 0.18462 0.14172 0.72741
INFLO 79 0.13534 0.08985 0.12472 0.07868 0.20998 0.16842 0.75345
INFLO 89 0.12030 0.07402 0.12365 0.07754 0.21352 0.17215 0.75361
COF 25 0.11278 0.06610 0.10587 0.05883 0.19970 0.15759 0.75403
COF 31 0.09774 0.05028 0.10760 0.06065 0.22133 0.18037 0.75796

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 57 attributes, 2934 objects, 146 outliers (4.98%)

Download raw algorithm results (24.2 MB) Download raw algorithm evaluation table (72.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.21918 0.17829 0.15918 0.11515 0.26369 0.22513 0.78709
KNN 3 0.22603 0.18550 0.15638 0.11221 0.25709 0.21818 0.77905
KNNW 5 0.21918 0.17829 0.15393 0.10963 0.26030 0.22157 0.77816
KNNW 9 0.23288 0.19270 0.15480 0.11054 0.26884 0.23055 0.77417
KNNW 10 0.22603 0.18550 0.15398 0.10967 0.27146 0.23331 0.77269
LOF 13 0.08904 0.04134 0.09790 0.05066 0.20286 0.16111 0.74274
LOF 14 0.08904 0.04134 0.09818 0.05096 0.20339 0.16167 0.74456
LOF 15 0.08904 0.04134 0.09792 0.05068 0.20272 0.16097 0.74555
LOF 35 0.01370 -0.03795 0.09020 0.04256 0.21421 0.17306 0.72778
SimplifiedLOF 14 0.06164 0.01250 0.08041 0.03226 0.16798 0.12441 0.69243
SimplifiedLOF 35 0.01370 -0.03795 0.08684 0.03902 0.20098 0.15914 0.72696
LoOP 24 0.08904 0.04134 0.09720 0.04993 0.19304 0.15078 0.73517
LoOP 26 0.09589 0.04854 0.09685 0.04956 0.18554 0.14289 0.73525
LoOP 40 0.08904 0.04134 0.09411 0.04667 0.20153 0.15972 0.74120
LoOP 59 0.06164 0.01250 0.09057 0.04295 0.20339 0.16167 0.73055
LDOF 19 0.07534 0.02692 0.08205 0.03398 0.16500 0.12127 0.68980
LDOF 51 0.06164 0.01250 0.09123 0.04364 0.20339 0.16167 0.73581
LDOF 75 0.06164 0.01250 0.08948 0.04179 0.20548 0.16387 0.72330
LDOF 88 0.06164 0.01250 0.09274 0.04523 0.19424 0.15204 0.71678
ODIN 53 0.11136 0.06483 0.11088 0.06432 0.22831 0.18790 0.72173
ODIN 62 0.10548 0.05864 0.11282 0.06636 0.23065 0.19036 0.71902
ODIN 100 0.14173 0.09678 0.11609 0.06980 0.22265 0.18194 0.71747
FastABOD 20 0.11644 0.07017 0.10584 0.05902 0.22083 0.18003 0.72413
FastABOD 24 0.10959 0.06296 0.10612 0.05931 0.22458 0.18397 0.72415
FastABOD 28 0.09589 0.04854 0.10607 0.05925 0.21811 0.17716 0.72448
FastABOD 98 0.10274 0.05575 0.11340 0.06697 0.22294 0.18225 0.72339
KDEOS 27 0.07534 0.02692 0.07117 0.02253 0.13866 0.09355 0.64484
KDEOS 28 0.08219 0.03413 0.06986 0.02115 0.14069 0.09569 0.64341
KDEOS 60 0.04110 -0.00912 0.06750 0.01867 0.13839 0.09327 0.64668
KDEOS 65 0.04110 -0.00912 0.06720 0.01835 0.14085 0.09585 0.64390
LDF 3 0.12329 0.07738 0.09362 0.04615 0.18529 0.14263 0.70970
LDF 5 0.07534 0.02692 0.10773 0.06101 0.21785 0.17689 0.75484
LDF 6 0.08219 0.03413 0.10670 0.05992 0.20859 0.16714 0.76039
INFLO 12 0.08219 0.03413 0.09195 0.04440 0.17757 0.13450 0.72227
INFLO 17 0.06849 0.01971 0.09446 0.04704 0.19464 0.15247 0.73939
INFLO 21 0.02055 -0.03074 0.09238 0.04485 0.19367 0.15144 0.74029
INFLO 40 0.01370 -0.03795 0.08780 0.04003 0.20457 0.16292 0.73029
COF 24 0.10274 0.05575 0.09837 0.05116 0.20339 0.16167 0.73620
COF 27 0.08904 0.04134 0.10290 0.05592 0.21259 0.17135 0.74586
COF 28 0.07534 0.02692 0.10135 0.05429 0.20443 0.16277 0.74605
COF 37 0.04110 -0.00912 0.09909 0.05192 0.21889 0.17799 0.73837

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 57 attributes, 2661 objects, 133 outliers (5.00%)

Download raw algorithm results (23.2 MB) Download raw algorithm evaluation table (67.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.27068 0.23231 0.24317 0.20336 0.31795 0.28207 0.77280
KNN 2 0.27068 0.23231 0.24374 0.20395 0.31579 0.27979 0.77280
KNN 5 0.27820 0.24022 0.22707 0.18641 0.30000 0.26317 0.76901
KNNW 2 0.30075 0.26396 0.24923 0.20973 0.31132 0.27509 0.76442
KNNW 3 0.27068 0.23231 0.25161 0.21224 0.32195 0.28628 0.76708
KNNW 4 0.27068 0.23231 0.24851 0.20897 0.32039 0.28463 0.76909
LOF 93 0.15038 0.10568 0.11435 0.06776 0.16000 0.11581 0.65771
LOF 100 0.14286 0.09776 0.11642 0.06993 0.16453 0.12058 0.65943
SimplifiedLOF 7 0.17293 0.12942 0.08902 0.04110 0.17358 0.13011 0.57657
SimplifiedLOF 85 0.17293 0.12942 0.12187 0.07568 0.19828 0.15610 0.64551
SimplifiedLOF 98 0.17293 0.12942 0.12543 0.07941 0.18584 0.14301 0.65142
SimplifiedLOF 100 0.17293 0.12942 0.12528 0.07926 0.18750 0.14475 0.65213
LoOP 11 0.13534 0.08985 0.07379 0.02506 0.14184 0.09670 0.57525
LoOP 59 0.12782 0.08193 0.08764 0.03964 0.15094 0.10627 0.60498
LoOP 99 0.12782 0.08193 0.09149 0.04370 0.13423 0.08868 0.61819
LDOF 48 0.12782 0.08193 0.07034 0.02143 0.12830 0.08244 0.53674
LDOF 80 0.12782 0.08193 0.07558 0.02695 0.14407 0.09904 0.54730
LDOF 99 0.12030 0.07402 0.07819 0.02970 0.12613 0.08015 0.56342
LDOF 100 0.11278 0.06610 0.07838 0.02989 0.12670 0.08075 0.56334
ODIN 10 0.03603 -0.01469 0.06031 0.01088 0.12105 0.07480 0.59757
ODIN 38 0.06767 0.01862 0.05615 0.00649 0.11167 0.06493 0.55524
FastABOD 5 0.27068 0.23231 0.23386 0.19356 0.28571 0.24814 0.78135
FastABOD 6 0.27068 0.23231 0.23203 0.19163 0.28704 0.24953 0.78241
FastABOD 20 0.28571 0.24814 0.22911 0.18855 0.28837 0.25093 0.78133
FastABOD 72 0.28571 0.24814 0.22932 0.18878 0.29231 0.25508 0.78017
KDEOS 16 0.09023 0.04236 0.06539 0.01622 0.13165 0.08597 0.59285
KDEOS 47 0.06015 0.01070 0.06917 0.02020 0.13017 0.08441 0.61861
KDEOS 91 0.06767 0.01862 0.06745 0.01839 0.14395 0.09891 0.62539
KDEOS 93 0.06015 0.01070 0.06737 0.01831 0.14309 0.09801 0.62658
LDF 73 0.24060 0.20065 0.16479 0.12085 0.25547 0.21630 0.70643
LDF 77 0.24060 0.20065 0.16561 0.12171 0.24590 0.20623 0.70862
LDF 90 0.24812 0.20856 0.16061 0.11645 0.24812 0.20856 0.71680
LDF 100 0.23308 0.19273 0.15957 0.11536 0.24549 0.20579 0.72243
INFLO 48 0.13534 0.08985 0.09322 0.04551 0.15743 0.11311 0.61320
INFLO 94 0.11278 0.06610 0.10307 0.05588 0.17544 0.13206 0.64465
INFLO 100 0.11278 0.06610 0.10508 0.05799 0.17502 0.13162 0.64093
COF 62 0.20301 0.16108 0.14202 0.09688 0.21459 0.17327 0.67167
COF 78 0.18797 0.14525 0.15051 0.10582 0.21622 0.17498 0.69386
COF 95 0.20301 0.16108 0.15862 0.11435 0.21198 0.17052 0.69049
COF 98 0.20301 0.16108 0.15831 0.11403 0.22222 0.18130 0.69241

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 57 attributes, 2934 objects, 146 outliers (4.98%)

Download raw algorithm results (23.9 MB) Download raw algorithm evaluation table (69.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.22603 0.18550 0.21170 0.17041 0.24324 0.20361 0.77930
KNN 7 0.22603 0.18550 0.20521 0.16359 0.26196 0.22332 0.78425
KNNW 3 0.21918 0.17829 0.21302 0.17180 0.26011 0.22136 0.78295
KNNW 6 0.21918 0.17829 0.20768 0.16619 0.26601 0.22757 0.78401
KNNW 8 0.21233 0.17108 0.20655 0.16500 0.25854 0.21971 0.78440
KNNW 16 0.23973 0.19991 0.19497 0.15281 0.25116 0.21195 0.78197
LOF 4 0.10274 0.05575 0.06066 0.01147 0.11374 0.06733 0.54798
LOF 90 0.08219 0.03413 0.08879 0.04107 0.15400 0.10970 0.64349
LOF 100 0.08904 0.04134 0.09269 0.04517 0.15293 0.10857 0.65351
SimplifiedLOF 1 0.10274 0.05575 0.06185 0.01273 0.11720 0.07097 0.56468
SimplifiedLOF 2 0.06849 0.01971 0.06513 0.01618 0.13597 0.09072 0.57898
SimplifiedLOF 100 0.10274 0.05575 0.07915 0.03092 0.13141 0.08593 0.61219
LoOP 1 0.10959 0.06296 0.06973 0.02102 0.12181 0.07582 0.57591
LoOP 2 0.07534 0.02692 0.06799 0.01919 0.13848 0.09337 0.58783
LoOP 100 0.08219 0.03413 0.06957 0.02084 0.12251 0.07656 0.59023
LDOF 3 0.04795 -0.00191 0.05748 0.00812 0.12944 0.08385 0.51006
LDOF 53 0.08219 0.03413 0.05121 0.00153 0.09871 0.05151 0.49353
LDOF 100 0.07534 0.02692 0.06115 0.01198 0.10941 0.06277 0.54095
ODIN 2 0.06387 0.01485 0.06493 0.01596 0.12737 0.08167 0.61542
ODIN 14 0.08998 0.04232 0.06135 0.01219 0.12309 0.07717 0.59127
FastABOD 10 0.19863 0.15666 0.16041 0.11645 0.24742 0.20801 0.77975
FastABOD 70 0.20548 0.16387 0.19610 0.15400 0.25000 0.21072 0.77812
FastABOD 75 0.20548 0.16387 0.19672 0.15465 0.25118 0.21197 0.77805
FastABOD 100 0.20548 0.16387 0.19715 0.15511 0.25086 0.21163 0.77817
KDEOS 22 0.08219 0.03413 0.06250 0.01340 0.11765 0.07144 0.57022
KDEOS 95 0.06849 0.01971 0.06974 0.02102 0.13025 0.08470 0.60252
KDEOS 99 0.07534 0.02692 0.07057 0.02189 0.12914 0.08354 0.60309
LDF 88 0.17123 0.12783 0.13036 0.08482 0.18502 0.14234 0.70644
LDF 95 0.19178 0.14946 0.12635 0.08060 0.19512 0.15297 0.71565
LDF 99 0.18493 0.14225 0.12681 0.08108 0.18815 0.14564 0.71990
INFLO 3 0.09589 0.04854 0.06442 0.01543 0.12378 0.07789 0.56847
INFLO 100 0.08904 0.04134 0.08671 0.03889 0.16775 0.12417 0.63395
COF 89 0.08904 0.04134 0.08444 0.03649 0.15613 0.11194 0.64656
COF 98 0.10274 0.05575 0.09791 0.05067 0.15631 0.11213 0.63698
COF 99 0.10959 0.06296 0.09904 0.05186 0.15569 0.11147 0.64076
COF 100 0.10959 0.06296 0.10039 0.05328 0.15310 0.10875 0.64370

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO