Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

SpamBase (5% of outliers version#05)

A data set representing emails classified as spam (outliers) or nonspam.

Download all data set variants used (25.4 MB). You can also access the original data. (spambase.data)

Normalized, without duplicates

This version contains 57 attributes, 2661 objects, 133 outliers (5.00%)

Download raw algorithm results (23.8 MB) Download raw algorithm evaluation table (71.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.17293 0.12942 0.14443 0.09942 0.21849 0.17737 0.76857
KNN 4 0.19549 0.15316 0.14809 0.10327 0.22321 0.18235 0.75943
KNN 5 0.20301 0.16108 0.14693 0.10205 0.22535 0.18460 0.75667
KNNW 5 0.18045 0.13733 0.14410 0.09907 0.21516 0.17387 0.76413
KNNW 9 0.18797 0.14525 0.14487 0.09988 0.22601 0.18529 0.76036
KNNW 10 0.19549 0.15316 0.14573 0.10079 0.22462 0.18383 0.75874
KNNW 11 0.21053 0.16899 0.14545 0.10049 0.22015 0.17912 0.75713
LOF 82 0.15038 0.10568 0.12140 0.07518 0.21365 0.17228 0.74893
LOF 83 0.15789 0.11359 0.12109 0.07485 0.21485 0.17354 0.74883
LOF 99 0.18045 0.13733 0.11893 0.07258 0.20637 0.16462 0.74276
SimplifiedLOF 31 0.02256 -0.02887 0.08407 0.03588 0.18268 0.13968 0.71478
SimplifiedLOF 47 0.00752 -0.04470 0.08329 0.03506 0.19133 0.14878 0.71233
SimplifiedLOF 96 0.12030 0.07402 0.10218 0.05495 0.17849 0.13527 0.71371
SimplifiedLOF 100 0.12030 0.07402 0.10383 0.05668 0.18396 0.14103 0.71467
LoOP 83 0.13534 0.08985 0.11606 0.06955 0.21122 0.16972 0.74335
LoOP 96 0.13534 0.08985 0.12036 0.07408 0.22368 0.18284 0.74807
LoOP 99 0.13534 0.08985 0.12055 0.07428 0.22623 0.18552 0.74726
LoOP 100 0.13534 0.08985 0.12091 0.07466 0.22512 0.18436 0.74750
LDOF 96 0.12782 0.08193 0.10693 0.05994 0.19853 0.15636 0.73150
LDOF 100 0.12030 0.07402 0.10864 0.06174 0.19888 0.15673 0.73207
ODIN 98 0.10289 0.05569 0.10511 0.05803 0.19483 0.15247 0.72670
ODIN 100 0.10301 0.05582 0.10527 0.05819 0.19316 0.15071 0.72699
FastABOD 5 0.13534 0.08985 0.11027 0.06346 0.18705 0.14428 0.73077
FastABOD 52 0.17293 0.12942 0.11964 0.07332 0.19802 0.15583 0.71850
FastABOD 67 0.18045 0.13733 0.12085 0.07459 0.19444 0.15206 0.71890
FastABOD 93 0.18045 0.13733 0.12126 0.07503 0.18739 0.14464 0.71957
KDEOS 26 0.07519 0.02653 0.06628 0.01716 0.12149 0.07527 0.59045
KDEOS 33 0.05263 0.00279 0.06134 0.01196 0.12775 0.08186 0.60070
KDEOS 34 0.06767 0.01862 0.06240 0.01307 0.12522 0.07919 0.60199
KDEOS 89 0.08271 0.03445 0.06187 0.01252 0.11569 0.06916 0.58362
LDF 6 0.10526 0.05819 0.10075 0.05344 0.19284 0.15037 0.73885
LDF 62 0.16541 0.12151 0.09471 0.04708 0.18123 0.13815 0.64393
INFLO 81 0.12782 0.08193 0.12378 0.07768 0.23132 0.19088 0.75498
INFLO 84 0.12782 0.08193 0.12320 0.07707 0.23224 0.19184 0.75611
INFLO 88 0.12782 0.08193 0.12298 0.07684 0.23551 0.19529 0.75527
INFLO 98 0.14286 0.09776 0.12225 0.07607 0.22300 0.18212 0.75410
COF 32 0.05263 0.00279 0.10778 0.06084 0.22503 0.18426 0.75507
COF 36 0.05263 0.00279 0.10780 0.06086 0.23592 0.19572 0.75306
COF 79 0.15038 0.10568 0.10353 0.05637 0.18900 0.14634 0.69113
COF 89 0.15038 0.10568 0.11670 0.07023 0.20000 0.15791 0.69384

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 57 attributes, 2934 objects, 146 outliers (4.98%)

Download raw algorithm results (24.3 MB) Download raw algorithm evaluation table (72.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.17808 0.13504 0.15062 0.10614 0.24302 0.20338 0.72859
KNN 3 0.16438 0.12062 0.14327 0.09841 0.23690 0.19694 0.75291
KNN 8 0.17808 0.13504 0.14584 0.10111 0.25974 0.22097 0.74165
KNN 12 0.19863 0.15666 0.14103 0.09604 0.23129 0.19104 0.72822
KNNW 1 0.19178 0.14946 0.13628 0.09105 0.22426 0.18364 0.68816
KNNW 9 0.16438 0.12062 0.14796 0.10334 0.24379 0.20419 0.75007
KNNW 14 0.17123 0.12783 0.14995 0.10543 0.24949 0.21019 0.74499
KNNW 17 0.17123 0.12783 0.14755 0.10291 0.25628 0.21733 0.73951
LOF 15 0.08904 0.04134 0.09882 0.05163 0.20094 0.15910 0.72676
LOF 28 0.02740 -0.02354 0.08881 0.04109 0.20558 0.16398 0.70726
LOF 84 0.10274 0.05575 0.08483 0.03690 0.14895 0.10439 0.65320
SimplifiedLOF 27 0.02740 -0.02354 0.08286 0.03483 0.17241 0.12908 0.69872
SimplifiedLOF 28 0.02740 -0.02354 0.08289 0.03486 0.17670 0.13358 0.69802
SimplifiedLOF 34 0.04110 -0.00912 0.08281 0.03477 0.18073 0.13783 0.69730
SimplifiedLOF 98 0.09589 0.04854 0.08117 0.03305 0.14516 0.10040 0.64305
LoOP 17 0.09589 0.04854 0.09532 0.04794 0.19745 0.15542 0.70154
LoOP 26 0.10959 0.06296 0.09926 0.05209 0.18719 0.14463 0.71643
LoOP 27 0.10959 0.06296 0.09919 0.05202 0.18310 0.14032 0.71823
LoOP 36 0.11644 0.07017 0.09525 0.04787 0.17931 0.13633 0.71496
LDOF 17 0.09589 0.04854 0.08709 0.03928 0.18405 0.14132 0.67717
LDOF 49 0.08219 0.03413 0.09166 0.04409 0.17761 0.13454 0.71159
LDOF 51 0.08219 0.03413 0.09140 0.04382 0.17530 0.13211 0.71190
LDOF 96 0.10959 0.06296 0.08905 0.04135 0.16901 0.12550 0.69868
ODIN 83 0.13209 0.08664 0.11926 0.07314 0.18655 0.14395 0.69839
ODIN 99 0.12534 0.07954 0.12225 0.07628 0.20253 0.16077 0.70091
ODIN 100 0.12671 0.08098 0.12220 0.07624 0.20285 0.16111 0.70076
FastABOD 58 0.10274 0.05575 0.09502 0.04763 0.19104 0.14868 0.67983
FastABOD 69 0.10959 0.06296 0.09510 0.04771 0.18768 0.14514 0.67948
FastABOD 70 0.10959 0.06296 0.09837 0.05116 0.18900 0.14653 0.68125
FastABOD 100 0.10959 0.06296 0.10229 0.05527 0.19007 0.14766 0.68082
KDEOS 5 0.08904 0.04134 0.07372 0.02521 0.13824 0.09311 0.60646
KDEOS 7 0.08904 0.04134 0.07552 0.02711 0.13619 0.09095 0.61146
KDEOS 8 0.06849 0.01971 0.07268 0.02412 0.13825 0.09312 0.60857
LDF 6 0.11644 0.07017 0.09536 0.04798 0.18759 0.14505 0.69067
LDF 8 0.10274 0.05575 0.09315 0.04566 0.17604 0.13290 0.72201
LDF 9 0.12329 0.07738 0.09649 0.04918 0.16934 0.12584 0.71804
LDF 14 0.13699 0.09179 0.08787 0.04011 0.15894 0.11490 0.67107
INFLO 12 0.08904 0.04134 0.09741 0.05015 0.20305 0.16131 0.71946
INFLO 14 0.09589 0.04854 0.09603 0.04869 0.21071 0.16938 0.71439
INFLO 19 0.08219 0.03413 0.09668 0.04938 0.19017 0.14777 0.72751
INFLO 97 0.10959 0.06296 0.09014 0.04249 0.14876 0.10418 0.65228
COF 24 0.13014 0.08458 0.09470 0.04730 0.18051 0.13759 0.69531
COF 28 0.13014 0.08458 0.09634 0.04902 0.18353 0.14077 0.70927
COF 31 0.10959 0.06296 0.09518 0.04780 0.18050 0.13758 0.71304
COF 37 0.09589 0.04854 0.09324 0.04575 0.19734 0.15531 0.70620

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 57 attributes, 2661 objects, 133 outliers (5.00%)

Download raw algorithm results (23.2 MB) Download raw algorithm evaluation table (67.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.24812 0.20856 0.21730 0.17612 0.26768 0.22915 0.75030
KNN 7 0.23308 0.19273 0.21071 0.16919 0.27363 0.23542 0.74548
KNNW 2 0.25564 0.21648 0.21828 0.17716 0.26846 0.22997 0.74966
KNNW 3 0.24812 0.20856 0.21873 0.17763 0.26702 0.22845 0.75127
KNNW 6 0.23308 0.19273 0.21955 0.17849 0.26415 0.22544 0.74891
KNNW 18 0.22556 0.18482 0.19016 0.14755 0.27128 0.23294 0.74508
LOF 13 0.13534 0.08985 0.07682 0.02825 0.14545 0.10050 0.58768
LOF 99 0.11278 0.06610 0.09162 0.04382 0.17803 0.13479 0.64147
LOF 100 0.11278 0.06610 0.09242 0.04467 0.17706 0.13377 0.64242
SimplifiedLOF 15 0.15038 0.10568 0.08037 0.03199 0.15603 0.11163 0.60536
SimplifiedLOF 98 0.15038 0.10568 0.10040 0.05307 0.17195 0.12838 0.62480
SimplifiedLOF 100 0.15038 0.10568 0.10113 0.05384 0.17195 0.12838 0.62621
LoOP 1 0.12030 0.07402 0.08598 0.03790 0.13900 0.09370 0.55898
LoOP 86 0.09774 0.05028 0.07967 0.03125 0.13721 0.09182 0.59606
LoOP 93 0.10526 0.05819 0.08006 0.03166 0.14224 0.09711 0.59263
LDOF 2 0.13534 0.08985 0.09480 0.04718 0.15725 0.11291 0.53311
LDOF 86 0.10526 0.05819 0.06688 0.01779 0.11502 0.06846 0.56413
ODIN 1 0.06464 0.01543 0.05834 0.00880 0.11438 0.06779 0.55862
ODIN 4 0.06349 0.01422 0.05853 0.00900 0.11111 0.06435 0.56841
ODIN 27 0.03427 -0.01654 0.05774 0.00817 0.11589 0.06938 0.57878
ODIN 95 0.03759 -0.01304 0.05789 0.00832 0.12032 0.07403 0.57143
FastABOD 3 0.21053 0.16899 0.19639 0.15411 0.25404 0.21480 0.77265
FastABOD 7 0.21805 0.17691 0.19523 0.15290 0.26150 0.22265 0.77042
FastABOD 21 0.23308 0.19273 0.19782 0.15562 0.25420 0.21496 0.76837
FastABOD 86 0.22556 0.18482 0.20192 0.15994 0.25542 0.21625 0.76695
KDEOS 10 0.07519 0.02653 0.07841 0.02993 0.10955 0.06271 0.55926
KDEOS 70 0.10526 0.05819 0.07144 0.02259 0.13457 0.08904 0.61980
KDEOS 75 0.10526 0.05819 0.07131 0.02245 0.13196 0.08630 0.62039
KDEOS 85 0.08271 0.03445 0.06973 0.02079 0.13725 0.09187 0.61771
LDF 68 0.25564 0.21648 0.15520 0.11075 0.25856 0.21955 0.67982
LDF 69 0.24060 0.20065 0.15802 0.11373 0.25185 0.21249 0.67976
LDF 98 0.22556 0.18482 0.14407 0.09904 0.25407 0.21483 0.69188
LDF 100 0.22556 0.18482 0.14258 0.09747 0.26198 0.22315 0.69064
INFLO 18 0.12030 0.07402 0.07453 0.02584 0.13928 0.09400 0.58542
INFLO 93 0.08271 0.03445 0.08544 0.03733 0.16587 0.12198 0.62426
INFLO 100 0.09774 0.05028 0.08593 0.03785 0.16077 0.11662 0.60724
COF 94 0.18045 0.13733 0.16728 0.12347 0.21875 0.17765 0.65496
COF 95 0.18045 0.13733 0.16655 0.12270 0.21875 0.17765 0.65627
COF 97 0.19549 0.15316 0.16637 0.12251 0.21978 0.17873 0.65533
COF 98 0.18797 0.14525 0.16454 0.12059 0.22099 0.18001 0.65436

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 57 attributes, 2934 objects, 146 outliers (4.98%)

Download raw algorithm results (23.9 MB) Download raw algorithm evaluation table (69.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 5 0.29452 0.25758 0.21217 0.17091 0.30370 0.26724 0.80125
KNN 9 0.31507 0.27920 0.22297 0.18228 0.31615 0.28034 0.79873
KNNW 6 0.28767 0.25037 0.22014 0.17930 0.31169 0.27564 0.79824
KNNW 8 0.28767 0.25037 0.22013 0.17929 0.30996 0.27383 0.79960
KNNW 13 0.30137 0.26478 0.22175 0.18099 0.30612 0.26979 0.79919
LOF 90 0.12329 0.07738 0.09790 0.05066 0.17757 0.13450 0.67525
LOF 100 0.12329 0.07738 0.10293 0.05596 0.19120 0.14884 0.68686
SimplifiedLOF 99 0.12329 0.07738 0.08668 0.03885 0.16000 0.11601 0.66141
SimplifiedLOF 100 0.12329 0.07738 0.08738 0.03959 0.16138 0.11747 0.66202
LoOP 10 0.10959 0.06296 0.06477 0.01580 0.12621 0.08046 0.54876
LoOP 95 0.10274 0.05575 0.08145 0.03335 0.14403 0.09920 0.63374
LoOP 100 0.10274 0.05575 0.08277 0.03474 0.14426 0.09945 0.63344
LDOF 5 0.10959 0.06296 0.07402 0.02553 0.12121 0.07519 0.49323
LDOF 91 0.08219 0.03413 0.06673 0.01786 0.13721 0.09203 0.58587
LDOF 97 0.08219 0.03413 0.06761 0.01878 0.13181 0.08634 0.58912
ODIN 26 0.04422 -0.00583 0.06336 0.01431 0.12372 0.07784 0.61288
ODIN 77 0.05479 0.00530 0.06194 0.01281 0.12587 0.08010 0.58855
ODIN 100 0.07036 0.02168 0.06444 0.01545 0.12480 0.07897 0.59476
FastABOD 8 0.24658 0.20712 0.17247 0.12914 0.26303 0.22443 0.80318
FastABOD 98 0.23288 0.19270 0.19069 0.14831 0.26598 0.22755 0.80520
FastABOD 100 0.23288 0.19270 0.19077 0.14839 0.26598 0.22755 0.80523
KDEOS 6 0.08219 0.03413 0.05798 0.00865 0.10944 0.06281 0.54527
KDEOS 81 0.04110 -0.00912 0.06819 0.01939 0.14685 0.10217 0.63560
KDEOS 100 0.07534 0.02692 0.07082 0.02216 0.14375 0.09891 0.64481
LDF 83 0.28082 0.24316 0.18881 0.14633 0.28475 0.24729 0.72372
LDF 86 0.28767 0.25037 0.17579 0.13263 0.28834 0.25108 0.72712
LDF 91 0.27397 0.23595 0.18126 0.13838 0.30164 0.26507 0.73912
LDF 100 0.28082 0.24316 0.17864 0.13563 0.29434 0.25739 0.74866
INFLO 79 0.10274 0.05575 0.08555 0.03766 0.17218 0.12883 0.66597
INFLO 91 0.10959 0.06296 0.09350 0.04603 0.16679 0.12315 0.64983
INFLO 95 0.10959 0.06296 0.09584 0.04849 0.17291 0.12960 0.66002
INFLO 100 0.10959 0.06296 0.09675 0.04945 0.16801 0.12444 0.64093
COF 90 0.06849 0.01971 0.09046 0.04283 0.17476 0.13154 0.68167
COF 96 0.10959 0.06296 0.09812 0.05089 0.17159 0.12821 0.68794
COF 100 0.15068 0.10621 0.10117 0.05411 0.17176 0.12838 0.68677

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO