Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

SpamBase (5% of outliers version#02)

A data set representing emails classified as spam (outliers) or nonspam.

Download all data set variants used (25.4 MB). You can also access the original data. (spambase.data)

Normalized, without duplicates

This version contains 57 attributes, 2661 objects, 133 outliers (5.00%)

Download raw algorithm results (23.8 MB) Download raw algorithm evaluation table (71.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.19549 0.15316 0.14736 0.10250 0.27103 0.23268 0.77773
KNNW 1 0.20301 0.16108 0.13454 0.08901 0.24336 0.20356 0.70688
KNNW 4 0.17293 0.12942 0.14226 0.09713 0.25310 0.21381 0.77416
KNNW 5 0.18797 0.14525 0.14351 0.09845 0.25962 0.22066 0.77378
KNNW 6 0.18797 0.14525 0.14363 0.09858 0.25592 0.21678 0.77212
LOF 81 0.09774 0.05028 0.12381 0.07772 0.21696 0.17577 0.73025
LOF 83 0.09774 0.05028 0.12384 0.07774 0.21611 0.17487 0.72989
LOF 84 0.09774 0.05028 0.12340 0.07728 0.21918 0.17810 0.72950
LOF 88 0.10526 0.05819 0.12207 0.07588 0.21318 0.17178 0.72727
SimplifiedLOF 2 0.08271 0.03445 0.06146 0.01208 0.11852 0.07214 0.55710
SimplifiedLOF 37 0.02256 -0.02887 0.08617 0.03810 0.17563 0.13226 0.69277
SimplifiedLOF 100 0.08271 0.03445 0.10227 0.05504 0.17181 0.12823 0.69503
LoOP 16 0.10526 0.05819 0.08149 0.03316 0.15183 0.10720 0.67117
LoOP 99 0.09023 0.04236 0.11491 0.06834 0.20947 0.16788 0.72787
LoOP 100 0.09774 0.05028 0.11508 0.06852 0.20852 0.16688 0.72823
LDOF 88 0.09774 0.05028 0.10307 0.05588 0.16493 0.12100 0.69753
LDOF 99 0.08271 0.03445 0.10648 0.05947 0.17495 0.13154 0.70274
LDOF 100 0.09023 0.04236 0.10670 0.05970 0.17438 0.13094 0.70315
ODIN 89 0.10526 0.05819 0.09646 0.04893 0.18919 0.14653 0.70222
ODIN 98 0.10419 0.05706 0.09843 0.05100 0.19366 0.15123 0.70542
ODIN 99 0.10526 0.05819 0.09836 0.05092 0.19463 0.15226 0.70572
FastABOD 4 0.15038 0.10568 0.11668 0.07021 0.20913 0.16752 0.73415
FastABOD 5 0.15789 0.11359 0.11505 0.06849 0.21116 0.16965 0.73127
FastABOD 10 0.13534 0.08985 0.11430 0.06771 0.21538 0.17411 0.72766
FastABOD 98 0.13534 0.08985 0.12292 0.07677 0.20408 0.16221 0.71319
KDEOS 6 0.08271 0.03445 0.06798 0.01894 0.13636 0.09093 0.58283
KDEOS 8 0.08271 0.03445 0.06926 0.02029 0.12698 0.08105 0.58148
KDEOS 11 0.09774 0.05028 0.06892 0.01994 0.12607 0.08009 0.59316
KDEOS 26 0.06015 0.01070 0.06379 0.01454 0.11901 0.07266 0.59948
LDF 5 0.10526 0.05819 0.10286 0.05566 0.18543 0.14258 0.74362
LDF 6 0.09023 0.04236 0.10094 0.05364 0.20359 0.16169 0.74847
LDF 52 0.16541 0.12151 0.08387 0.03567 0.16901 0.12530 0.59295
INFLO 9 0.10526 0.05819 0.08072 0.03235 0.15011 0.10540 0.65859
INFLO 81 0.10526 0.05819 0.12352 0.07741 0.21646 0.17524 0.73832
INFLO 83 0.10526 0.05819 0.12307 0.07694 0.21726 0.17608 0.73723
COF 31 0.05263 0.00279 0.09531 0.04772 0.19640 0.15413 0.72538
COF 94 0.15038 0.10568 0.11290 0.06623 0.21130 0.16981 0.68823
COF 98 0.18045 0.13733 0.11172 0.06499 0.20524 0.16343 0.68943

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 57 attributes, 2934 objects, 146 outliers (4.98%)

Download raw algorithm results (24.2 MB) Download raw algorithm evaluation table (72.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 3 0.17808 0.13504 0.16090 0.11696 0.24524 0.20572 0.76851
KNN 8 0.19863 0.15666 0.15604 0.11184 0.23762 0.19770 0.75088
KNNW 3 0.19178 0.14946 0.14388 0.09904 0.23480 0.19473 0.73573
KNNW 7 0.15753 0.11342 0.15487 0.11062 0.25155 0.21235 0.76130
KNNW 9 0.15753 0.11342 0.15686 0.11271 0.25447 0.21543 0.76054
LOF 9 0.08904 0.04134 0.08518 0.03727 0.16943 0.12593 0.70976
LOF 14 0.06164 0.01250 0.09725 0.04998 0.20022 0.15834 0.74372
LOF 15 0.06164 0.01250 0.09738 0.05011 0.20024 0.15836 0.74261
SimplifiedLOF 1 0.07534 0.02692 0.06043 0.01122 0.11876 0.07261 0.56683
SimplifiedLOF 24 0.01370 -0.03795 0.08210 0.03403 0.17169 0.12831 0.70318
SimplifiedLOF 39 0.00000 -0.05237 0.07888 0.03065 0.17789 0.13484 0.69497
LoOP 2 0.09589 0.04854 0.06780 0.01898 0.12754 0.08186 0.57488
LoOP 25 0.07534 0.02692 0.09158 0.04401 0.18440 0.14169 0.71841
LoOP 26 0.06849 0.01971 0.09130 0.04371 0.18654 0.14395 0.71770
LoOP 27 0.06849 0.01971 0.09131 0.04372 0.18070 0.13780 0.71845
LDOF 5 0.09589 0.04854 0.06128 0.01212 0.12155 0.07554 0.53767
LDOF 47 0.04795 -0.00191 0.08521 0.03730 0.18161 0.13875 0.70456
LDOF 57 0.04795 -0.00191 0.08643 0.03859 0.17951 0.13654 0.70979
LDOF 78 0.04110 -0.00912 0.08664 0.03881 0.17444 0.13121 0.70568
ODIN 94 0.12920 0.08360 0.10085 0.05377 0.18117 0.13829 0.68305
ODIN 100 0.13601 0.09076 0.10177 0.05473 0.18075 0.13785 0.68391
FastABOD 20 0.10274 0.05575 0.09339 0.04592 0.18428 0.14156 0.67897
FastABOD 21 0.10274 0.05575 0.09346 0.04599 0.18231 0.13949 0.67900
FastABOD 67 0.10274 0.05575 0.09454 0.04713 0.18732 0.14476 0.67579
FastABOD 100 0.10274 0.05575 0.10366 0.05673 0.18598 0.14335 0.67703
KDEOS 4 0.09589 0.04854 0.06375 0.01472 0.12355 0.07765 0.55425
KDEOS 27 0.08219 0.03413 0.06629 0.01740 0.11932 0.07320 0.60330
KDEOS 52 0.04795 -0.00191 0.05894 0.00965 0.13175 0.08628 0.59383
KDEOS 95 0.04795 -0.00191 0.06132 0.01216 0.12991 0.08435 0.60789
LDF 7 0.11644 0.07017 0.10825 0.06155 0.19922 0.15728 0.73892
LDF 8 0.11644 0.07017 0.10103 0.05396 0.19680 0.15474 0.74205
INFLO 1 0.10274 0.05575 0.06500 0.01604 0.11862 0.07246 0.57276
INFLO 15 0.06164 0.01250 0.08989 0.04223 0.18391 0.14117 0.71669
INFLO 16 0.04795 -0.00191 0.08979 0.04212 0.18519 0.14252 0.72242
INFLO 24 0.01370 -0.03795 0.08845 0.04072 0.19151 0.14917 0.71747
COF 24 0.09589 0.04854 0.09505 0.04766 0.19543 0.15330 0.71530
COF 26 0.09589 0.04854 0.09854 0.05134 0.20217 0.16039 0.72451
COF 29 0.08219 0.03413 0.09800 0.05076 0.19898 0.15704 0.72586

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 57 attributes, 2661 objects, 133 outliers (5.00%)

Download raw algorithm results (23.1 MB) Download raw algorithm evaluation table (67.2 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.24060 0.20065 0.18263 0.13963 0.26190 0.22307 0.77591
KNN 3 0.26316 0.22439 0.18681 0.14402 0.29041 0.25308 0.77043
KNN 4 0.25564 0.21648 0.18996 0.14734 0.28895 0.25154 0.76805
KNN 7 0.25564 0.21648 0.18470 0.14181 0.29050 0.25318 0.76949
KNNW 3 0.23308 0.19273 0.18778 0.14505 0.26991 0.23150 0.77491
KNNW 4 0.24060 0.20065 0.19030 0.14770 0.28046 0.24260 0.77456
KNNW 5 0.24060 0.20065 0.19214 0.14964 0.28506 0.24744 0.77271
KNNW 15 0.22556 0.18482 0.18186 0.13881 0.28962 0.25224 0.76827
LOF 10 0.15038 0.10568 0.08958 0.04168 0.18182 0.13877 0.59321
LOF 12 0.17293 0.12942 0.09522 0.04762 0.17891 0.13572 0.59017
LOF 18 0.15789 0.11359 0.09979 0.05243 0.17021 0.12656 0.60271
LOF 98 0.12782 0.08193 0.09608 0.04852 0.15089 0.10622 0.65833
SimplifiedLOF 20 0.18797 0.14525 0.10195 0.05470 0.18868 0.14600 0.62368
SimplifiedLOF 22 0.18045 0.13733 0.10445 0.05733 0.19286 0.15039 0.62890
SimplifiedLOF 56 0.17293 0.12942 0.10826 0.06134 0.18785 0.14512 0.61557
SimplifiedLOF 100 0.15789 0.11359 0.10410 0.05696 0.17204 0.12848 0.63329
LoOP 22 0.14286 0.09776 0.08823 0.04026 0.16617 0.12230 0.61941
LoOP 44 0.18045 0.13733 0.08978 0.04189 0.18251 0.13950 0.58839
LoOP 46 0.18045 0.13733 0.09012 0.04225 0.18533 0.14247 0.58501
LoOP 70 0.16541 0.12151 0.09393 0.04626 0.16949 0.12580 0.58482
LDOF 27 0.09023 0.04236 0.07126 0.02239 0.12500 0.07897 0.55414
LDOF 50 0.13534 0.08985 0.07615 0.02754 0.13878 0.09347 0.54087
LDOF 58 0.15038 0.10568 0.07459 0.02590 0.15190 0.10728 0.53974
LDOF 80 0.15038 0.10568 0.07537 0.02672 0.15873 0.11447 0.54756
ODIN 9 0.04967 -0.00033 0.06125 0.01187 0.12713 0.08121 0.59661
ODIN 11 0.05032 0.00035 0.06121 0.01182 0.12320 0.07707 0.60037
ODIN 87 0.09364 0.04596 0.06415 0.01492 0.11667 0.07019 0.56468
ODIN 100 0.06767 0.01862 0.06586 0.01671 0.12303 0.07689 0.57115
FastABOD 3 0.19549 0.15316 0.15940 0.11518 0.25155 0.21217 0.77884
FastABOD 4 0.20301 0.16108 0.16534 0.12143 0.25941 0.22045 0.77522
FastABOD 7 0.21805 0.17691 0.16367 0.11967 0.25734 0.21826 0.77536
FastABOD 93 0.20301 0.16108 0.16603 0.12216 0.25592 0.21678 0.76887
KDEOS 57 0.10526 0.05819 0.07336 0.02461 0.13324 0.08764 0.62443
KDEOS 60 0.09023 0.04236 0.07359 0.02485 0.13724 0.09185 0.62267
KDEOS 69 0.12030 0.07402 0.07357 0.02483 0.13324 0.08764 0.61871
KDEOS 100 0.10526 0.05819 0.07642 0.02783 0.13108 0.08537 0.62257
LDF 5 0.18045 0.13733 0.09376 0.04608 0.20561 0.16381 0.55856
LDF 69 0.18045 0.13733 0.13909 0.09379 0.19679 0.15453 0.70798
LDF 88 0.20301 0.16108 0.12813 0.08226 0.20301 0.16108 0.71813
LDF 98 0.19549 0.15316 0.12969 0.08391 0.20295 0.16101 0.72691
INFLO 37 0.15789 0.11359 0.08812 0.04015 0.15970 0.11549 0.59498
INFLO 84 0.12030 0.07402 0.09645 0.04891 0.17323 0.12973 0.64165
COF 17 0.18797 0.14525 0.11411 0.06750 0.20000 0.15791 0.59543
COF 58 0.15789 0.11359 0.14597 0.10104 0.23392 0.19361 0.61839
COF 68 0.16541 0.12151 0.14801 0.10319 0.21978 0.17873 0.62678
COF 95 0.18045 0.13733 0.13004 0.08427 0.22346 0.18261 0.65517

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 57 attributes, 2934 objects, 146 outliers (4.98%)

Download raw algorithm results (23.9 MB) Download raw algorithm evaluation table (69.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.25342 0.21433 0.22925 0.18889 0.28000 0.24230 0.78820
KNN 3 0.26712 0.22874 0.22498 0.18439 0.28902 0.25179 0.78509
KNN 15 0.23973 0.19991 0.19126 0.14890 0.27248 0.23438 0.79083
KNNW 1 0.26027 0.22154 0.21751 0.17654 0.28169 0.24407 0.76796
KNNW 4 0.26027 0.22154 0.23185 0.19163 0.28455 0.24709 0.78980
KNNW 20 0.24658 0.20712 0.20852 0.16707 0.26913 0.23086 0.79152
LOF 74 0.10959 0.06296 0.08159 0.03350 0.12794 0.08227 0.61686
LOF 100 0.10959 0.06296 0.09967 0.05252 0.15070 0.10622 0.65240
SimplifiedLOF 8 0.10959 0.06296 0.07378 0.02527 0.14800 0.10338 0.60141
SimplifiedLOF 19 0.10959 0.06296 0.07127 0.02264 0.13439 0.08906 0.61594
SimplifiedLOF 90 0.13014 0.08458 0.07228 0.02370 0.13296 0.08756 0.60725
SimplifiedLOF 100 0.13014 0.08458 0.08283 0.03480 0.14545 0.10070 0.61553
LoOP 1 0.11644 0.07017 0.07139 0.02276 0.12378 0.07789 0.56613
LoOP 11 0.11644 0.07017 0.07359 0.02508 0.13996 0.09493 0.60722
LDOF 8 0.10959 0.06296 0.06039 0.01118 0.11730 0.07108 0.51743
LDOF 13 0.08904 0.04134 0.06041 0.01120 0.12860 0.08297 0.53782
LDOF 19 0.06849 0.01971 0.05752 0.00817 0.11798 0.07179 0.54127
LDOF 100 0.08219 0.03413 0.06477 0.01579 0.10404 0.05712 0.53965
ODIN 1 0.06700 0.01814 0.06387 0.01485 0.11810 0.07191 0.61047
ODIN 6 0.06748 0.01865 0.06252 0.01342 0.11942 0.07331 0.60226
ODIN 8 0.04574 -0.00423 0.06136 0.01220 0.12338 0.07747 0.60911
ODIN 10 0.04884 -0.00097 0.06211 0.01300 0.12061 0.07456 0.61091
FastABOD 70 0.28767 0.25037 0.20361 0.16190 0.29066 0.25351 0.79405
FastABOD 75 0.28767 0.25037 0.20436 0.16269 0.29371 0.25672 0.79430
FastABOD 100 0.28767 0.25037 0.20476 0.16312 0.29371 0.25672 0.79446
KDEOS 11 0.07534 0.02692 0.06008 0.01086 0.11902 0.07289 0.57960
KDEOS 43 0.03425 -0.01633 0.05992 0.01069 0.13738 0.09220 0.59030
KDEOS 98 0.04795 -0.00191 0.06259 0.01350 0.12825 0.08260 0.60399
LDF 93 0.21918 0.17829 0.15100 0.10654 0.23708 0.19713 0.71581
LDF 95 0.20548 0.16387 0.15481 0.11055 0.23270 0.19252 0.71723
LDF 96 0.23288 0.19270 0.15262 0.10825 0.23492 0.19486 0.71704
LDF 100 0.21233 0.17108 0.14958 0.10504 0.23077 0.19049 0.72298
INFLO 98 0.12329 0.07738 0.09255 0.04502 0.17259 0.12926 0.63669
INFLO 99 0.12329 0.07738 0.09260 0.04508 0.17184 0.12847 0.63024
COF 9 0.10274 0.05575 0.07428 0.02581 0.16292 0.11909 0.59336
COF 12 0.13014 0.08458 0.07316 0.02463 0.14674 0.10206 0.60208
COF 97 0.12329 0.07738 0.08974 0.04207 0.14634 0.10164 0.64559
COF 100 0.12329 0.07738 0.09356 0.04609 0.14177 0.09682 0.64545

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO