Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Wilt (5% of outliers)

The data set differentiates diseased trees from other land covers. The former are considered outliers here.

Download all data set variants used (7.2 MB). You can also access the original data. (merge train and test [wilt.zip])

Normalized, without duplicates

This version contains 5 attributes, 4819 objects, 257 outliers (5.33%)

Download raw algorithm results (41.0 MB) Download raw algorithm evaluation table (74.2 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.00389 -0.05222 0.05378 0.00047 0.13111 0.08216 0.55197
KNN 6 0.00778 -0.04811 0.04589 -0.00786 0.11278 0.06280 0.47576
KNNW 1 0.01167 -0.04400 0.05551 0.00231 0.12941 0.08036 0.55849
KNNW 2 0.00389 -0.05222 0.05491 0.00167 0.13034 0.08134 0.56007
KNNW 3 0.00389 -0.05222 0.05367 0.00036 0.13066 0.08169 0.55061
LOF 1 0.08171 0.02998 0.06271 0.00991 0.11257 0.06258 0.54036
LOF 4 0.08171 0.02998 0.07928 0.02741 0.15432 0.10667 0.62513
LOF 6 0.06226 0.00943 0.07619 0.02415 0.15286 0.10513 0.63085
SimplifiedLOF 2 0.08949 0.03820 0.07380 0.02163 0.14139 0.09302 0.62283
SimplifiedLOF 7 0.07393 0.02176 0.09013 0.03887 0.19174 0.14620 0.67680
SimplifiedLOF 8 0.07393 0.02176 0.09019 0.03893 0.18531 0.13941 0.67589
LoOP 6 0.09339 0.04231 0.09059 0.03936 0.18934 0.14367 0.67547
LoOP 7 0.07393 0.02176 0.09092 0.03971 0.19587 0.15057 0.67868
LoOP 8 0.07782 0.02587 0.09181 0.04064 0.19197 0.14645 0.67857
LoOP 10 0.07393 0.02176 0.09009 0.03883 0.18686 0.14106 0.67920
LDOF 6 0.11673 0.06697 0.09522 0.04424 0.19039 0.14478 0.69221
LDOF 10 0.10895 0.05875 0.09791 0.04709 0.18088 0.13474 0.70830
LDOF 13 0.09339 0.04231 0.09655 0.04566 0.17701 0.13065 0.71220
ODIN 6 0.12168 0.07220 0.09584 0.04490 0.19417 0.14878 0.67291
ODIN 7 0.10846 0.05823 0.09601 0.04508 0.19723 0.15201 0.67356
ODIN 10 0.11036 0.06024 0.09344 0.04236 0.18235 0.13628 0.67464
FastABOD 3 0.01167 -0.04400 0.05413 0.00084 0.11555 0.06573 0.54112
FastABOD 6 0.00000 -0.05633 0.05447 0.00120 0.12695 0.07777 0.55433
KDEOS 25 0.16732 0.12041 0.12021 0.07065 0.22576 0.18215 0.71191
KDEOS 26 0.17121 0.12452 0.11868 0.06903 0.21610 0.17194 0.71283
KDEOS 33 0.17121 0.12452 0.11797 0.06828 0.21700 0.17289 0.71324
LDF 1 0.07393 0.02176 0.05875 0.00572 0.11037 0.06025 0.53490
LDF 4 0.05447 0.00121 0.07319 0.02098 0.14498 0.09681 0.61266
INFLO 5 0.08949 0.03820 0.07300 0.02078 0.15193 0.10415 0.59808
INFLO 7 0.08171 0.02998 0.07871 0.02681 0.16910 0.12229 0.63208
COF 5 0.09339 0.04231 0.08085 0.02907 0.15611 0.10857 0.64634
COF 6 0.07004 0.01765 0.08023 0.02842 0.16514 0.11811 0.64535
COF 9 0.08171 0.02998 0.07960 0.02774 0.15519 0.10759 0.64830

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 5 attributes, 4839 objects, 261 outliers (5.39%)

Download raw algorithm results (41.1 MB) Download raw algorithm evaluation table (73.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.00383 -0.05296 0.05362 -0.00034 0.13128 0.08175 0.54587
KNN 4 0.00766 -0.04891 0.04783 -0.00645 0.11597 0.06557 0.49085
KNNW 1 0.01149 -0.04486 0.05501 0.00114 0.12728 0.07752 0.54513
KNNW 2 0.00383 -0.05296 0.05419 0.00026 0.12794 0.07822 0.54558
KNNW 3 0.00383 -0.05296 0.05316 -0.00082 0.12853 0.07885 0.53963
LOF 1 0.08429 0.03208 0.06286 0.00943 0.11244 0.06184 0.53735
LOF 4 0.08046 0.02804 0.07820 0.02564 0.15268 0.10438 0.61989
LOF 6 0.06130 0.00779 0.07619 0.02352 0.15447 0.10626 0.62637
SimplifiedLOF 5 0.09195 0.04018 0.08372 0.03148 0.16701 0.11952 0.64856
SimplifiedLOF 7 0.07663 0.02399 0.08822 0.03624 0.18612 0.13972 0.66741
SimplifiedLOF 8 0.07280 0.01994 0.08837 0.03640 0.18106 0.13437 0.66722
SimplifiedLOF 10 0.05364 -0.00031 0.08716 0.03512 0.17988 0.13313 0.66842
LoOP 4 0.09195 0.04018 0.08131 0.02893 0.16275 0.11501 0.63954
LoOP 7 0.07280 0.01994 0.09011 0.03823 0.19039 0.14423 0.67507
LoOP 8 0.07663 0.02399 0.09074 0.03890 0.18659 0.14021 0.67430
LoOP 10 0.07280 0.01994 0.09018 0.03830 0.18864 0.14239 0.67542
LDOF 6 0.10728 0.05638 0.09262 0.04089 0.18436 0.13786 0.68300
LDOF 10 0.10728 0.05638 0.09729 0.04582 0.17852 0.13169 0.70313
LDOF 13 0.08812 0.03613 0.09552 0.04395 0.17625 0.12928 0.70929
LDOF 15 0.08046 0.02804 0.09385 0.04219 0.18451 0.13801 0.70379
ODIN 6 0.12215 0.07211 0.09596 0.04442 0.18901 0.14277 0.67232
ODIN 8 0.11104 0.06036 0.09471 0.04309 0.19324 0.14724 0.66862
FastABOD 3 0.01149 -0.04486 0.05439 0.00048 0.11501 0.06455 0.53769
FastABOD 6 0.00000 -0.05701 0.05490 0.00102 0.12761 0.07788 0.55291
KDEOS 25 0.16475 0.11713 0.11735 0.06703 0.21704 0.17240 0.70395
KDEOS 26 0.16858 0.12118 0.11624 0.06586 0.20904 0.16395 0.70534
KDEOS 32 0.15709 0.10903 0.11602 0.06562 0.21635 0.17168 0.70755
LDF 1 0.07280 0.01994 0.05870 0.00503 0.11129 0.06062 0.53124
LDF 4 0.05364 -0.00031 0.07278 0.01992 0.14401 0.09521 0.60769
INFLO 6 0.08812 0.03613 0.07840 0.02585 0.16831 0.12089 0.62709
INFLO 7 0.08429 0.03208 0.07863 0.02610 0.16969 0.12235 0.62879
COF 2 0.08429 0.03208 0.07738 0.02478 0.14324 0.09439 0.60370
COF 6 0.07280 0.01994 0.07794 0.02537 0.16000 0.11211 0.62925
COF 8 0.07663 0.02399 0.07799 0.02542 0.15508 0.10691 0.62940

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 5 attributes, 4819 objects, 257 outliers (5.33%)

Download raw algorithm results (41.5 MB) Download raw algorithm evaluation table (74.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.00389 -0.05222 0.07754 0.02558 0.17041 0.12367 0.69122
KNN 8 0.00000 -0.05633 0.08174 0.03001 0.19086 0.14528 0.71431
KNNW 1 0.00389 -0.05222 0.07039 0.01802 0.15299 0.10528 0.64248
KNNW 15 0.00000 -0.05633 0.08077 0.02898 0.19125 0.14569 0.71138
KNNW 17 0.00000 -0.05633 0.08078 0.02900 0.19020 0.14458 0.71141
LOF 7 0.09728 0.04642 0.08281 0.03114 0.15682 0.10932 0.65028
LOF 35 0.08171 0.02998 0.11403 0.06412 0.22422 0.18052 0.77826
LOF 36 0.08171 0.02998 0.11401 0.06410 0.22724 0.18371 0.77753
SimplifiedLOF 5 0.12062 0.07108 0.07256 0.02031 0.13601 0.08734 0.57843
SimplifiedLOF 52 0.07782 0.02587 0.10712 0.05682 0.20668 0.16199 0.76520
SimplifiedLOF 65 0.07004 0.01765 0.10640 0.05606 0.20973 0.16521 0.76411
LoOP 7 0.12062 0.07108 0.07703 0.02503 0.14249 0.09418 0.60465
LoOP 52 0.07393 0.02176 0.10670 0.05637 0.20506 0.16027 0.76044
LoOP 67 0.07782 0.02587 0.10624 0.05589 0.20825 0.16365 0.75802
LDOF 10 0.11673 0.06697 0.07140 0.01908 0.12789 0.07876 0.58227
LDOF 96 0.07004 0.01765 0.10289 0.05235 0.20831 0.16371 0.75734
LDOF 97 0.06615 0.01354 0.10282 0.05228 0.20967 0.16514 0.75741
ODIN 9 0.12962 0.08059 0.08919 0.03788 0.15707 0.10959 0.66469
ODIN 40 0.12304 0.07364 0.11989 0.07031 0.21413 0.16986 0.77337
ODIN 58 0.10435 0.05389 0.11815 0.06847 0.22697 0.18342 0.76629
FastABOD 5 0.00778 -0.04811 0.05639 0.00324 0.12348 0.07410 0.56224
FastABOD 6 0.01167 -0.04400 0.05578 0.00259 0.12263 0.07320 0.55757
FastABOD 60 0.00778 -0.04811 0.05614 0.00297 0.12604 0.07680 0.56020
KDEOS 43 0.14397 0.09574 0.10111 0.05048 0.15848 0.11107 0.69013
KDEOS 95 0.12062 0.07108 0.12326 0.07387 0.18403 0.13807 0.74543
KDEOS 100 0.12062 0.07108 0.12179 0.07231 0.18662 0.14080 0.74855
LDF 15 0.10117 0.05053 0.10994 0.05980 0.21046 0.16598 0.76937
LDF 24 0.09339 0.04231 0.12076 0.07123 0.24214 0.19945 0.79203
LDF 26 0.08949 0.03820 0.12135 0.07185 0.24171 0.19899 0.79107
LDF 31 0.08560 0.03409 0.11974 0.07015 0.24552 0.20302 0.78415
INFLO 7 0.10506 0.05464 0.07268 0.02044 0.13703 0.08842 0.59029
INFLO 39 0.09339 0.04231 0.09268 0.04157 0.19201 0.14649 0.70579
INFLO 48 0.05837 0.00532 0.09132 0.04013 0.19561 0.15030 0.70350
COF 44 0.14397 0.09574 0.14617 0.09807 0.26586 0.22450 0.81387
COF 51 0.17899 0.13274 0.15050 0.10264 0.26838 0.22716 0.81318
COF 60 0.15953 0.11219 0.15508 0.10748 0.28816 0.24805 0.81382
COF 63 0.15953 0.11219 0.15394 0.10628 0.28886 0.24880 0.81223

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 5 attributes, 4839 objects, 261 outliers (5.39%)

Download raw algorithm results (41.7 MB) Download raw algorithm evaluation table (73.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.00383 -0.05296 0.07781 0.02524 0.17224 0.12505 0.68860
KNN 8 0.00000 -0.05701 0.08234 0.03002 0.19280 0.14678 0.71334
KNNW 1 0.00383 -0.05296 0.06900 0.01593 0.15096 0.10256 0.62458
KNNW 15 0.00000 -0.05701 0.08113 0.02874 0.19141 0.14531 0.70945
KNNW 16 0.00000 -0.05701 0.08114 0.02876 0.19060 0.14445 0.70948
LOF 7 0.09579 0.04423 0.08313 0.03086 0.15513 0.10697 0.65017
LOF 34 0.08429 0.03208 0.11371 0.06318 0.22809 0.18408 0.77678
LOF 35 0.08429 0.03208 0.11384 0.06331 0.22682 0.18274 0.77651
SimplifiedLOF 5 0.11494 0.06448 0.07171 0.01879 0.13095 0.08141 0.57272
SimplifiedLOF 53 0.07663 0.02399 0.10656 0.05562 0.20647 0.16123 0.76271
SimplifiedLOF 71 0.05747 0.00374 0.10624 0.05528 0.20755 0.16237 0.76277
SimplifiedLOF 75 0.05364 -0.00031 0.10563 0.05464 0.21029 0.16527 0.76149
LoOP 7 0.11494 0.06448 0.07640 0.02374 0.14300 0.09414 0.60087
LoOP 53 0.07663 0.02399 0.10635 0.05540 0.20509 0.15977 0.75859
LoOP 62 0.07663 0.02399 0.10653 0.05559 0.20669 0.16146 0.75795
LoOP 71 0.08046 0.02804 0.10636 0.05541 0.20881 0.16370 0.75822
LDOF 10 0.09962 0.04828 0.07035 0.01735 0.12751 0.07777 0.57508
LDOF 97 0.06897 0.01589 0.10275 0.05160 0.21250 0.16760 0.75564
ODIN 11 0.13401 0.08464 0.09579 0.04424 0.17258 0.12540 0.68011
ODIN 40 0.11918 0.06896 0.11903 0.06880 0.21465 0.16988 0.77230
ODIN 41 0.11188 0.06124 0.11919 0.06897 0.21762 0.17302 0.77206
ODIN 58 0.10560 0.05461 0.11813 0.06785 0.22874 0.18477 0.76611
FastABOD 6 0.01149 -0.04486 0.05637 0.00257 0.12468 0.07477 0.55783
FastABOD 29 0.00766 -0.04891 0.05696 0.00319 0.12513 0.07525 0.56217
FastABOD 30 0.00766 -0.04891 0.05697 0.00320 0.12420 0.07427 0.56208
FastABOD 91 0.00766 -0.04891 0.05642 0.00262 0.12793 0.07822 0.55787
KDEOS 62 0.13410 0.08473 0.11112 0.06045 0.17425 0.12718 0.71881
KDEOS 95 0.12261 0.07258 0.12250 0.07248 0.18454 0.13805 0.74332
KDEOS 100 0.12644 0.07663 0.12080 0.07068 0.18729 0.14095 0.74684
LDF 6 0.09579 0.04423 0.08164 0.02929 0.15737 0.10933 0.64727
LDF 22 0.08812 0.03613 0.11928 0.06907 0.24216 0.19896 0.79046
LDF 23 0.09195 0.04018 0.11977 0.06959 0.24472 0.20166 0.79031
LDF 26 0.08429 0.03208 0.12105 0.07094 0.24154 0.19830 0.78995
INFLO 5 0.10345 0.05233 0.07368 0.02087 0.14637 0.09771 0.58464
INFLO 39 0.08812 0.03613 0.09317 0.04147 0.19081 0.14467 0.70700
INFLO 48 0.06130 0.00779 0.09125 0.03944 0.19738 0.15163 0.70056
COF 60 0.16092 0.11308 0.15225 0.10392 0.28153 0.24057 0.80931
COF 67 0.17241 0.12523 0.15090 0.10249 0.28666 0.24599 0.80598
COF 68 0.18008 0.13333 0.15050 0.10207 0.27551 0.23421 0.80536

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO