Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

SpamBase (5% of outliers version#03)

A data set representing emails classified as spam (outliers) or nonspam.

Download all data set variants used (25.4 MB). You can also access the original data. (spambase.data)

Normalized, without duplicates

This version contains 57 attributes, 2661 objects, 133 outliers (5.00%)

Download raw algorithm results (23.8 MB) Download raw algorithm evaluation table (71.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.19549 0.15316 0.15434 0.10985 0.24304 0.20321 0.74916
KNNW 1 0.21053 0.16899 0.14011 0.09487 0.23864 0.19858 0.69009
KNNW 3 0.20301 0.16108 0.14853 0.10374 0.24607 0.20641 0.73936
KNNW 4 0.18797 0.14525 0.14900 0.10422 0.24873 0.20921 0.73925
LOF 10 0.15789 0.11359 0.11422 0.06762 0.19481 0.15244 0.75334
LOF 13 0.12782 0.08193 0.10956 0.06271 0.19888 0.15673 0.76036
LOF 18 0.10526 0.05819 0.10332 0.05615 0.20570 0.16391 0.75189
LOF 82 0.14286 0.09776 0.12115 0.07492 0.19807 0.15588 0.70887
SimplifiedLOF 12 0.13534 0.08985 0.09259 0.04485 0.17453 0.13110 0.69448
SimplifiedLOF 24 0.06767 0.01862 0.09260 0.04486 0.18579 0.14296 0.72166
SimplifiedLOF 27 0.02256 -0.02887 0.09080 0.04297 0.18730 0.14455 0.71828
SimplifiedLOF 100 0.12030 0.07402 0.09937 0.05198 0.16271 0.11866 0.67457
LoOP 12 0.14286 0.09776 0.10379 0.05664 0.18103 0.13795 0.70826
LoOP 24 0.13534 0.08985 0.10563 0.05858 0.18630 0.14349 0.73830
LoOP 94 0.13534 0.08985 0.12130 0.07507 0.19958 0.15747 0.71562
LoOP 100 0.14286 0.09776 0.12073 0.07448 0.20737 0.16567 0.71474
LDOF 17 0.15038 0.10568 0.09971 0.05235 0.17255 0.12902 0.70022
LDOF 41 0.11278 0.06610 0.09988 0.05252 0.18025 0.13712 0.72598
LDOF 45 0.12030 0.07402 0.10419 0.05706 0.18703 0.14426 0.72570
LDOF 100 0.15038 0.10568 0.11823 0.07184 0.17722 0.13393 0.70431
ODIN 84 0.14425 0.09923 0.11202 0.06531 0.19745 0.15523 0.70741
ODIN 90 0.14052 0.09531 0.11227 0.06557 0.20033 0.15826 0.70816
ODIN 92 0.13715 0.09176 0.11234 0.06564 0.19865 0.15649 0.70826
FastABOD 5 0.17293 0.12942 0.12839 0.08254 0.23558 0.19536 0.70839
FastABOD 9 0.19549 0.15316 0.12681 0.08087 0.23056 0.19008 0.70200
FastABOD 50 0.17293 0.12942 0.13739 0.09200 0.21839 0.17727 0.69530
KDEOS 6 0.09023 0.04236 0.06408 0.01484 0.11485 0.06828 0.55837
KDEOS 97 0.08271 0.03445 0.07648 0.02789 0.13333 0.08774 0.61701
KDEOS 100 0.08271 0.03445 0.07947 0.03104 0.13119 0.08548 0.62341
LDF 5 0.09774 0.05028 0.10044 0.05311 0.20536 0.16355 0.71969
LDF 6 0.10526 0.05819 0.09572 0.04815 0.19677 0.15451 0.72029
LDF 54 0.16541 0.12151 0.08011 0.03171 0.16604 0.12216 0.57057
INFLO 8 0.14286 0.09776 0.10337 0.05619 0.18889 0.14622 0.70894
INFLO 24 0.07519 0.02653 0.09927 0.05188 0.19410 0.15170 0.74337
INFLO 72 0.13534 0.08985 0.12469 0.07864 0.22069 0.17969 0.72061
INFLO 82 0.14286 0.09776 0.12746 0.08156 0.21395 0.17260 0.72531
COF 16 0.15038 0.10568 0.10304 0.05585 0.18954 0.14690 0.70742
COF 21 0.12782 0.08193 0.10435 0.05723 0.21429 0.17295 0.71647
COF 23 0.12030 0.07402 0.10372 0.05657 0.21905 0.17796 0.71696
COF 26 0.10526 0.05819 0.10375 0.05660 0.20938 0.16778 0.71970

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 57 attributes, 2934 objects, 146 outliers (4.98%)

Download raw algorithm results (24.2 MB) Download raw algorithm evaluation table (72.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.23288 0.19270 0.16192 0.11803 0.26353 0.22496 0.77798
KNN 2 0.22603 0.18550 0.15849 0.11442 0.26776 0.22941 0.78767
KNNW 1 0.22603 0.18550 0.14275 0.09785 0.24848 0.20913 0.71815
KNNW 4 0.21918 0.17829 0.15717 0.11304 0.26565 0.22720 0.77929
KNNW 5 0.20548 0.16387 0.15796 0.11386 0.25731 0.21842 0.78037
LOF 8 0.06849 0.01971 0.08288 0.03486 0.17508 0.13189 0.69668
LOF 9 0.06849 0.01971 0.08622 0.03836 0.18062 0.13771 0.70851
LOF 25 0.00685 -0.04516 0.08109 0.03297 0.18318 0.14041 0.71850
LOF 28 0.00685 -0.04516 0.08069 0.03254 0.18588 0.14325 0.71489
SimplifiedLOF 1 0.07534 0.02692 0.06129 0.01214 0.12489 0.07907 0.57785
SimplifiedLOF 34 0.00685 -0.04516 0.07536 0.02694 0.16749 0.12389 0.69856
SimplifiedLOF 44 0.00685 -0.04516 0.07455 0.02609 0.17371 0.13043 0.69287
LoOP 1 0.06849 0.01971 0.06650 0.01762 0.12456 0.07871 0.57544
LoOP 45 0.02740 -0.02354 0.07818 0.02990 0.17736 0.13428 0.70598
LoOP 51 0.02740 -0.02354 0.07895 0.03071 0.17291 0.12959 0.70768
LDOF 2 0.06849 0.01971 0.06995 0.02124 0.11745 0.07123 0.53302
LDOF 51 0.02740 -0.02354 0.07675 0.02840 0.16720 0.12359 0.70186
LDOF 61 0.02055 -0.03074 0.07678 0.02843 0.17194 0.12857 0.70038
LDOF 62 0.02055 -0.03074 0.07697 0.02863 0.17183 0.12846 0.70098
ODIN 10 0.10472 0.05783 0.08024 0.03208 0.14336 0.09850 0.66534
ODIN 100 0.09992 0.05278 0.09692 0.04963 0.19856 0.15659 0.70802
FastABOD 20 0.07534 0.02692 0.09792 0.05068 0.19632 0.15423 0.69902
FastABOD 37 0.06849 0.01971 0.09634 0.04902 0.20000 0.15811 0.69423
FastABOD 77 0.08904 0.04134 0.10067 0.05358 0.19444 0.15226 0.69206
FastABOD 100 0.08219 0.03413 0.10480 0.05792 0.19016 0.14776 0.69069
KDEOS 6 0.10274 0.05575 0.06979 0.02108 0.11862 0.07246 0.58049
KDEOS 52 0.07534 0.02692 0.07316 0.02463 0.14238 0.09747 0.66003
KDEOS 56 0.07534 0.02692 0.07361 0.02510 0.14397 0.09914 0.65899
KDEOS 61 0.08904 0.04134 0.07533 0.02691 0.13989 0.09485 0.65880
LDF 4 0.09589 0.04854 0.08823 0.04048 0.17237 0.12903 0.70555
LDF 5 0.07534 0.02692 0.09255 0.04503 0.18480 0.14211 0.72446
INFLO 3 0.06164 0.01250 0.06319 0.01414 0.13666 0.09145 0.60235
INFLO 9 0.04795 -0.00191 0.08216 0.03409 0.17044 0.12700 0.68842
INFLO 10 0.04110 -0.00912 0.08211 0.03404 0.17783 0.13477 0.68801
INFLO 16 0.04110 -0.00912 0.08090 0.03277 0.17162 0.12824 0.70587
COF 1 0.07534 0.02692 0.06283 0.01375 0.12552 0.07973 0.59373
COF 28 0.03425 -0.01633 0.08650 0.03866 0.19181 0.14949 0.72179
COF 39 0.02055 -0.03074 0.08732 0.03953 0.18398 0.14124 0.71281

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 57 attributes, 2661 objects, 133 outliers (5.00%)

Download raw algorithm results (23.2 MB) Download raw algorithm evaluation table (67.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.24436 0.20461 0.18042 0.13730 0.26632 0.22772 0.73536
KNN 2 0.23308 0.19273 0.18632 0.14351 0.26425 0.22554 0.73824
KNN 4 0.22556 0.18482 0.17864 0.13543 0.26699 0.22843 0.73584
KNN 55 0.18045 0.13733 0.14368 0.09863 0.23559 0.19537 0.75094
KNNW 2 0.25564 0.21648 0.18007 0.13693 0.26255 0.22375 0.73285
KNNW 3 0.24812 0.20856 0.18534 0.14248 0.25974 0.22079 0.73309
KNNW 8 0.23308 0.19273 0.17852 0.13530 0.26699 0.22843 0.73380
KNNW 100 0.18045 0.13733 0.14498 0.10000 0.24020 0.20022 0.75061
LOF 10 0.14286 0.09776 0.08773 0.03973 0.15029 0.10559 0.57132
LOF 26 0.13534 0.08985 0.09887 0.05147 0.16216 0.11808 0.60365
LOF 27 0.14286 0.09776 0.09800 0.05055 0.16304 0.11901 0.60394
LOF 98 0.11278 0.06610 0.09757 0.05009 0.14933 0.10458 0.65336
SimplifiedLOF 12 0.15789 0.11359 0.09195 0.04418 0.15970 0.11549 0.58671
SimplifiedLOF 35 0.15038 0.10568 0.10776 0.06082 0.17747 0.13420 0.62253
SimplifiedLOF 94 0.15038 0.10568 0.10668 0.05968 0.16140 0.11728 0.63524
LoOP 35 0.13534 0.08985 0.09215 0.04439 0.16129 0.11717 0.60819
LoOP 37 0.15038 0.10568 0.09205 0.04428 0.15730 0.11297 0.60800
LoOP 51 0.14286 0.09776 0.09316 0.04545 0.15625 0.11186 0.60993
LoOP 72 0.13534 0.08985 0.09169 0.04390 0.15385 0.10933 0.61174
LDOF 2 0.10526 0.05819 0.08445 0.03628 0.13514 0.08963 0.51804
LDOF 30 0.14286 0.09776 0.07880 0.03033 0.14876 0.10398 0.55879
LDOF 51 0.12030 0.07402 0.08183 0.03352 0.14612 0.10120 0.57165
ODIN 54 0.09774 0.05028 0.06694 0.01785 0.11849 0.07211 0.58834
ODIN 69 0.09023 0.04236 0.06825 0.01923 0.12247 0.07630 0.59674
ODIN 88 0.08886 0.04092 0.07119 0.02233 0.11683 0.07037 0.59819
ODIN 99 0.09023 0.04236 0.07114 0.02227 0.11962 0.07330 0.60454
FastABOD 3 0.19549 0.15316 0.15960 0.11539 0.24017 0.20019 0.74897
FastABOD 5 0.20301 0.16108 0.16101 0.11687 0.25597 0.21682 0.74486
FastABOD 60 0.21805 0.17691 0.16211 0.11803 0.24779 0.20821 0.74149
FastABOD 73 0.21805 0.17691 0.16235 0.11828 0.24834 0.20879 0.74115
KDEOS 63 0.06767 0.01862 0.07115 0.02228 0.13761 0.09224 0.61654
KDEOS 73 0.09774 0.05028 0.07411 0.02539 0.13425 0.08870 0.61956
KDEOS 83 0.12782 0.08193 0.07394 0.02521 0.13383 0.08826 0.61527
KDEOS 95 0.12030 0.07402 0.07511 0.02646 0.13483 0.08931 0.61900
LDF 82 0.16541 0.12151 0.13189 0.08622 0.18947 0.14683 0.71315
LDF 87 0.17293 0.12942 0.13087 0.08514 0.19580 0.15349 0.71610
LDF 91 0.18797 0.14525 0.13037 0.08462 0.19495 0.15259 0.72054
LDF 100 0.18045 0.13733 0.12270 0.07655 0.19048 0.14789 0.72862
INFLO 20 0.15038 0.10568 0.09446 0.04682 0.15228 0.10768 0.64006
INFLO 29 0.12030 0.07402 0.09911 0.05172 0.15623 0.11184 0.64982
INFLO 60 0.12030 0.07402 0.09829 0.05085 0.16432 0.12036 0.65028
INFLO 99 0.12030 0.07402 0.09788 0.05041 0.16984 0.12617 0.63491
COF 49 0.15789 0.11359 0.13241 0.08677 0.17552 0.13214 0.63285
COF 73 0.17293 0.12942 0.12733 0.08141 0.17680 0.13349 0.64510
COF 90 0.17293 0.12942 0.12717 0.08125 0.18487 0.14199 0.65297
COF 97 0.17293 0.12942 0.12894 0.08311 0.20465 0.16281 0.64610

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 57 attributes, 2934 objects, 146 outliers (4.98%)

Download raw algorithm results (23.9 MB) Download raw algorithm evaluation table (69.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.22603 0.18550 0.18771 0.14517 0.24022 0.20044 0.76702
KNN 5 0.23973 0.19991 0.18519 0.14252 0.25000 0.21072 0.76336
KNN 7 0.23973 0.19991 0.17985 0.13690 0.25294 0.21382 0.76278
KNNW 2 0.22603 0.18550 0.18145 0.13859 0.26158 0.22291 0.75647
KNNW 4 0.21918 0.17829 0.18942 0.14697 0.25238 0.21323 0.76118
KNNW 8 0.23973 0.19991 0.18498 0.14230 0.25000 0.21072 0.76248
KNNW 10 0.24658 0.20712 0.18301 0.14023 0.25000 0.21072 0.76074
LOF 7 0.09589 0.04854 0.06236 0.01326 0.11275 0.06628 0.56372
LOF 97 0.06849 0.01971 0.08535 0.03745 0.14212 0.09720 0.64043
LOF 100 0.06849 0.01971 0.08641 0.03857 0.14183 0.09689 0.64216
SimplifiedLOF 92 0.08219 0.03413 0.06942 0.02069 0.13636 0.09114 0.61248
SimplifiedLOF 100 0.09589 0.04854 0.07201 0.02342 0.13620 0.09096 0.61487
LoOP 1 0.10959 0.06296 0.06982 0.02111 0.12147 0.07546 0.55612
LoOP 20 0.06849 0.01971 0.06443 0.01544 0.11919 0.07307 0.59692
LoOP 97 0.07534 0.02692 0.06630 0.01740 0.12924 0.08364 0.58633
LDOF 2 0.10274 0.05575 0.07296 0.02442 0.12171 0.07572 0.50101
LDOF 4 0.06849 0.01971 0.06036 0.01115 0.13095 0.08544 0.50077
LDOF 100 0.06849 0.01971 0.05701 0.00763 0.10390 0.05697 0.54358
ODIN 5 0.07729 0.02898 0.06406 0.01505 0.12195 0.07597 0.60590
ODIN 9 0.05134 0.00166 0.06138 0.01223 0.12519 0.07938 0.60738
ODIN 14 0.05092 0.00122 0.06367 0.01463 0.12441 0.07856 0.61692
FastABOD 21 0.19863 0.15666 0.14972 0.10519 0.24113 0.20140 0.75232
FastABOD 70 0.21918 0.17829 0.16523 0.12152 0.24623 0.20676 0.75197
FastABOD 89 0.21918 0.17829 0.16605 0.12238 0.25000 0.21072 0.75221
FastABOD 100 0.21918 0.17829 0.16621 0.12255 0.25000 0.21072 0.75224
KDEOS 4 0.07534 0.02692 0.05848 0.00917 0.11086 0.06430 0.54186
KDEOS 58 0.01370 -0.03795 0.06240 0.01330 0.12647 0.08072 0.61275
KDEOS 94 0.06164 0.01250 0.06454 0.01556 0.13333 0.08795 0.60924
KDEOS 100 0.06164 0.01250 0.06552 0.01658 0.13202 0.08657 0.60998
LDF 89 0.21233 0.17108 0.12323 0.07732 0.21233 0.17108 0.68132
LDF 100 0.18493 0.14225 0.12791 0.08224 0.20238 0.16061 0.69593
INFLO 8 0.09589 0.04854 0.06683 0.01796 0.13904 0.09395 0.59569
INFLO 22 0.06849 0.01971 0.06627 0.01737 0.16005 0.11607 0.61997
INFLO 85 0.06849 0.01971 0.07505 0.02661 0.16726 0.12365 0.61694
INFLO 100 0.06849 0.01971 0.07921 0.03099 0.16029 0.11632 0.58821
COF 88 0.08904 0.04134 0.07786 0.02957 0.15297 0.10862 0.65679
COF 100 0.10959 0.06296 0.08582 0.03795 0.15020 0.10570 0.66529

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO