Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

SpamBase (10% of outliers version#07)

A data set representing emails classified as spam (outliers) or nonspam.

Download all data set variants used (25.4 MB). You can also access the original data. (spambase.data)

Normalized, without duplicates

This version contains 57 attributes, 2808 objects, 280 outliers (9.97%)

Download raw algorithm results (25.1 MB) Download raw algorithm evaluation table (70.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.22857 0.14313 0.19812 0.10931 0.29673 0.21884 0.70130
KNN 4 0.22500 0.13916 0.19630 0.10728 0.30246 0.22520 0.72132
KNN 5 0.23214 0.14710 0.19554 0.10644 0.30478 0.22778 0.71914
KNN 6 0.23571 0.15106 0.19553 0.10642 0.30009 0.22257 0.71787
KNNW 1 0.24286 0.15900 0.19034 0.10067 0.28877 0.20999 0.64355
KNNW 5 0.21071 0.12329 0.19438 0.10515 0.29620 0.21825 0.70483
KNNW 8 0.22857 0.14313 0.19571 0.10663 0.29428 0.21612 0.71210
KNNW 9 0.22857 0.14313 0.19560 0.10651 0.29179 0.21335 0.71264
LOF 78 0.18214 0.09156 0.16581 0.07341 0.28144 0.20186 0.67859
LOF 94 0.17143 0.07966 0.16637 0.07404 0.28852 0.20972 0.68196
LOF 97 0.17143 0.07966 0.16656 0.07425 0.28891 0.21015 0.68173
LOF 100 0.16786 0.07569 0.16582 0.07342 0.29018 0.21156 0.68103
SimplifiedLOF 41 0.08214 -0.01952 0.13301 0.03698 0.24678 0.16335 0.64578
SimplifiedLOF 42 0.07857 -0.02349 0.13383 0.03790 0.24523 0.16163 0.64648
SimplifiedLOF 95 0.15000 0.05585 0.14693 0.05244 0.23638 0.15180 0.63770
SimplifiedLOF 100 0.15000 0.05585 0.14768 0.05328 0.23647 0.15191 0.64033
LoOP 100 0.18214 0.09156 0.16272 0.06998 0.25853 0.17641 0.67200
LDOF 70 0.12500 0.02809 0.14271 0.04775 0.24538 0.16179 0.64556
LDOF 98 0.16429 0.07172 0.15328 0.05950 0.24004 0.15587 0.64995
LDOF 100 0.16429 0.07172 0.15329 0.05950 0.24021 0.15605 0.65010
ODIN 95 0.17643 0.08521 0.15213 0.05822 0.25314 0.17042 0.65089
ODIN 100 0.16825 0.07613 0.15358 0.05983 0.25654 0.17420 0.65301
FastABOD 3 0.21786 0.13123 0.16360 0.07096 0.25341 0.17072 0.65498
FastABOD 4 0.21071 0.12329 0.16984 0.07789 0.26569 0.18436 0.65844
FastABOD 11 0.21071 0.12329 0.17545 0.08412 0.27234 0.19175 0.65505
FastABOD 49 0.21071 0.12329 0.18030 0.08951 0.26620 0.18492 0.65064
KDEOS 3 0.14286 0.04792 0.11386 0.01571 0.18687 0.09681 0.52473
KDEOS 36 0.07500 -0.02745 0.10699 0.00808 0.20683 0.11898 0.55652
KDEOS 75 0.07857 -0.02349 0.10587 0.00684 0.21193 0.12465 0.55092
LDF 6 0.12500 0.02809 0.16122 0.06832 0.28505 0.20587 0.70525
LDF 49 0.18571 0.09552 0.12211 0.02487 0.18995 0.10023 0.54548
INFLO 71 0.19286 0.10346 0.16622 0.07387 0.26959 0.18869 0.67901
INFLO 97 0.18214 0.09156 0.16871 0.07664 0.28911 0.21037 0.68766
INFLO 98 0.17500 0.08362 0.16881 0.07674 0.28909 0.21035 0.68796
INFLO 100 0.17500 0.08362 0.16866 0.07658 0.28836 0.20954 0.68800
COF 37 0.13214 0.03602 0.15664 0.06323 0.27580 0.19559 0.68409
COF 43 0.12857 0.03205 0.15373 0.06000 0.27985 0.20008 0.67883
COF 100 0.22143 0.13519 0.16589 0.07350 0.25145 0.16854 0.64941

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 57 attributes, 3097 objects, 309 outliers (9.98%)

Download raw algorithm results (25.7 MB) Download raw algorithm evaluation table (74.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.20712 0.11924 0.17577 0.08442 0.27248 0.19185 0.69037
KNN 5 0.19741 0.10846 0.17395 0.08240 0.26643 0.18513 0.69443
KNNW 6 0.20712 0.11924 0.17497 0.08352 0.26424 0.18269 0.68645
KNNW 7 0.19741 0.10846 0.17581 0.08447 0.26877 0.18773 0.68818
KNNW 11 0.20388 0.11565 0.17433 0.08282 0.26789 0.18675 0.69213
LOF 11 0.14563 0.05094 0.13182 0.03560 0.22436 0.13839 0.62452
LOF 12 0.14563 0.05094 0.13465 0.03874 0.23340 0.14843 0.62988
LOF 42 0.06796 -0.03534 0.12039 0.02291 0.23729 0.15276 0.61858
SimplifiedLOF 12 0.11650 0.01859 0.11643 0.01850 0.21293 0.12570 0.57923
SimplifiedLOF 40 0.06796 -0.03534 0.11422 0.01605 0.22630 0.14055 0.59840
SimplifiedLOF 42 0.06149 -0.04253 0.11476 0.01665 0.22481 0.13889 0.60031
LoOP 16 0.14563 0.05094 0.12527 0.02832 0.21385 0.12672 0.59892
LoOP 24 0.13916 0.04375 0.12800 0.03136 0.21536 0.12839 0.60555
LoOP 45 0.10356 0.00421 0.12304 0.02585 0.23056 0.14528 0.61640
LDOF 7 0.13269 0.03656 0.11036 0.01176 0.19175 0.10217 0.53599
LDOF 35 0.12298 0.02578 0.12290 0.02569 0.21576 0.12884 0.60372
LDOF 57 0.10680 0.00780 0.12137 0.02399 0.22642 0.14068 0.60801
LDOF 74 0.10032 0.00061 0.12103 0.02361 0.22287 0.13674 0.60957
ODIN 95 0.13916 0.04375 0.14356 0.04863 0.24818 0.16485 0.61886
ODIN 100 0.14593 0.05127 0.14431 0.04947 0.24188 0.15785 0.62004
FastABOD 14 0.14887 0.05453 0.12974 0.03328 0.22747 0.14184 0.61889
FastABOD 54 0.13916 0.04375 0.13237 0.03621 0.23077 0.14551 0.62002
FastABOD 77 0.14239 0.04734 0.13705 0.04141 0.22987 0.14452 0.62213
FastABOD 100 0.14239 0.04734 0.13758 0.04199 0.23060 0.14532 0.62179
KDEOS 7 0.14563 0.05094 0.11393 0.01572 0.19431 0.10501 0.53800
KDEOS 56 0.12298 0.02578 0.11797 0.02022 0.21775 0.13105 0.58638
KDEOS 61 0.11974 0.02218 0.11967 0.02210 0.21629 0.12943 0.58990
KDEOS 65 0.11327 0.01499 0.11880 0.02114 0.21601 0.12912 0.59085
LDF 3 0.13916 0.04375 0.13594 0.04017 0.22905 0.14360 0.61687
LDF 5 0.12621 0.02937 0.14114 0.04595 0.25641 0.17400 0.64614
LDF 6 0.12621 0.02937 0.14101 0.04581 0.26185 0.18004 0.64875
INFLO 12 0.13916 0.04375 0.12946 0.03298 0.21966 0.13317 0.61522
INFLO 37 0.07767 -0.02455 0.11917 0.02155 0.22937 0.14395 0.61612
INFLO 45 0.07443 -0.02815 0.11857 0.02088 0.23099 0.14576 0.61368
COF 23 0.12298 0.02578 0.12532 0.02838 0.21948 0.13297 0.60328
COF 27 0.11650 0.01859 0.12890 0.03235 0.22732 0.14168 0.61618
COF 41 0.09385 -0.00658 0.12853 0.03194 0.24055 0.15637 0.62947

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 57 attributes, 2808 objects, 280 outliers (9.97%)

Download raw algorithm results (24.4 MB) Download raw algorithm evaluation table (68.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 7 0.30000 0.22247 0.26727 0.18612 0.32268 0.24766 0.71801
KNN 9 0.30000 0.22247 0.26408 0.18257 0.32339 0.24845 0.71845
KNN 12 0.30714 0.23040 0.25850 0.17637 0.31741 0.24181 0.72045
KNN 67 0.26786 0.18677 0.22703 0.14142 0.29706 0.21920 0.72904
KNNW 1 0.31071 0.23437 0.25945 0.17743 0.31408 0.23811 0.66981
KNNW 6 0.29643 0.21850 0.26825 0.18720 0.31520 0.23935 0.70565
KNNW 16 0.29643 0.21850 0.26359 0.18203 0.32287 0.24787 0.71732
KNNW 100 0.28214 0.20263 0.23223 0.14720 0.29816 0.22042 0.72723
LOF 11 0.16786 0.07569 0.12076 0.02338 0.19306 0.10368 0.54692
LOF 99 0.16786 0.07569 0.17157 0.07982 0.24658 0.16313 0.64388
LOF 100 0.16786 0.07569 0.17134 0.07956 0.24752 0.16418 0.64417
SimplifiedLOF 45 0.18571 0.09552 0.15308 0.05927 0.20048 0.11193 0.57951
SimplifiedLOF 99 0.16071 0.06776 0.17361 0.08208 0.22825 0.14277 0.61930
LoOP 29 0.16429 0.07172 0.12463 0.02768 0.20166 0.11323 0.56187
LoOP 99 0.15000 0.05585 0.14596 0.05137 0.21270 0.12550 0.59135
LoOP 100 0.15000 0.05585 0.14592 0.05132 0.21452 0.12752 0.59166
LDOF 80 0.15000 0.05585 0.11731 0.01954 0.18875 0.09889 0.51623
LDOF 94 0.13929 0.04395 0.11901 0.02143 0.19154 0.10199 0.52445
LDOF 99 0.14286 0.04792 0.12015 0.02270 0.19142 0.10186 0.52970
ODIN 42 0.11508 0.01707 0.10715 0.00825 0.20885 0.12122 0.55516
ODIN 92 0.11071 0.01222 0.11467 0.01661 0.21715 0.13044 0.58169
ODIN 99 0.11262 0.01433 0.11540 0.01743 0.21269 0.12549 0.58450
ODIN 100 0.11310 0.01486 0.11525 0.01726 0.21212 0.12486 0.58480
FastABOD 4 0.27857 0.19867 0.25379 0.17115 0.31088 0.23455 0.71882
FastABOD 14 0.28214 0.20263 0.25425 0.17165 0.29916 0.22153 0.72005
FastABOD 99 0.28214 0.20263 0.25769 0.17547 0.30194 0.22462 0.72178
FastABOD 100 0.28214 0.20263 0.25768 0.17546 0.30194 0.22462 0.72180
KDEOS 3 0.14643 0.05189 0.11172 0.01333 0.18409 0.09372 0.50321
KDEOS 100 0.13214 0.03602 0.12122 0.02389 0.21048 0.12303 0.57786
LDF 61 0.25714 0.17486 0.22834 0.14287 0.26527 0.18389 0.69019
LDF 66 0.24643 0.16296 0.23097 0.14579 0.27280 0.19225 0.69304
LDF 72 0.24643 0.16296 0.22703 0.14141 0.28114 0.20152 0.69891
LDF 100 0.23571 0.15106 0.21762 0.13096 0.27687 0.19678 0.70417
INFLO 36 0.16071 0.06776 0.13477 0.03894 0.25047 0.16745 0.57309
INFLO 86 0.14643 0.05189 0.15979 0.06672 0.30267 0.22543 0.64851
INFLO 99 0.16071 0.06776 0.16194 0.06912 0.30328 0.22611 0.63567
COF 53 0.20357 0.11536 0.19498 0.10581 0.22157 0.13536 0.60482
COF 94 0.18929 0.09949 0.22144 0.13520 0.25630 0.17393 0.64496
COF 97 0.18929 0.09949 0.22272 0.13663 0.25581 0.17339 0.64607
COF 99 0.19643 0.10743 0.22413 0.13819 0.25190 0.16904 0.64460

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 57 attributes, 3097 objects, 309 outliers (9.98%)

Download raw algorithm results (25.3 MB) Download raw algorithm evaluation table (72.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.35599 0.28461 0.34158 0.26861 0.37778 0.30882 0.76873
KNN 7 0.35922 0.28820 0.33192 0.25788 0.37962 0.31086 0.77375
KNNW 4 0.34304 0.27023 0.34018 0.26705 0.38281 0.31441 0.76642
KNNW 12 0.35922 0.28820 0.33169 0.25762 0.37421 0.30485 0.77040
KNNW 19 0.34628 0.27382 0.32636 0.25169 0.36554 0.29522 0.77123
LOF 93 0.18123 0.09048 0.17614 0.08483 0.26165 0.17981 0.63823
LOF 100 0.18123 0.09048 0.18252 0.09191 0.26279 0.18108 0.64389
SimplifiedLOF 82 0.18447 0.09408 0.13635 0.04063 0.22093 0.13458 0.61366
SimplifiedLOF 99 0.17152 0.07970 0.14967 0.05543 0.23120 0.14600 0.62068
SimplifiedLOF 100 0.17152 0.07970 0.15150 0.05746 0.23120 0.14600 0.62094
LoOP 80 0.17476 0.08329 0.12699 0.03023 0.21119 0.12376 0.58788
LoOP 100 0.17152 0.07970 0.13881 0.04336 0.21725 0.13050 0.59462
LDOF 2 0.13916 0.04375 0.12451 0.02748 0.18144 0.09072 0.47371
LDOF 3 0.15534 0.06172 0.11709 0.01923 0.18605 0.09583 0.47934
LDOF 99 0.14887 0.05453 0.11511 0.01703 0.19948 0.11076 0.53995
LDOF 100 0.14887 0.05453 0.11563 0.01761 0.19723 0.10826 0.54030
ODIN 2 0.12167 0.02432 0.11548 0.01744 0.20222 0.11380 0.56992
ODIN 13 0.06966 -0.03346 0.11327 0.01499 0.22682 0.14113 0.58369
FastABOD 70 0.33333 0.25945 0.31110 0.23475 0.35019 0.27818 0.77994
FastABOD 100 0.33333 0.25945 0.31278 0.23661 0.34995 0.27790 0.78097
KDEOS 3 0.13916 0.04375 0.11093 0.01239 0.18160 0.09090 0.50904
KDEOS 100 0.10032 0.00061 0.12018 0.02267 0.22572 0.13990 0.59980
LDF 90 0.29450 0.21631 0.25802 0.17579 0.30156 0.22415 0.68853
LDF 96 0.27508 0.19474 0.26609 0.18475 0.30641 0.22954 0.70066
LDF 100 0.28155 0.20193 0.26248 0.18074 0.30662 0.22977 0.70467
INFLO 84 0.16505 0.07251 0.15003 0.05583 0.27751 0.19744 0.61575
INFLO 93 0.16505 0.07251 0.15916 0.06597 0.28254 0.20302 0.62832
INFLO 99 0.16505 0.07251 0.16303 0.07027 0.28253 0.20301 0.62732
COF 89 0.19094 0.10127 0.15551 0.06192 0.24291 0.15901 0.63875
COF 91 0.18770 0.09767 0.15792 0.06459 0.24914 0.16592 0.63906
COF 100 0.18770 0.09767 0.17924 0.08828 0.24338 0.15952 0.64222

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO