Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Wilt (2% of outliers version#09)

The data set differentiates diseased trees from other land covers. The former are considered outliers here.

Download all data set variants used (7.2 MB). You can also access the original data. (merge train and test [wilt.zip])

Normalized, without duplicates

This version contains 5 attributes, 4655 objects, 93 outliers (2.00%)

Download raw algorithm results (39.6 MB) Download raw algorithm evaluation table (73.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.00000 -0.02039 0.02291 0.00300 0.05967 0.04050 0.59334
KNNW 1 0.00000 -0.02039 0.02417 0.00428 0.06093 0.04178 0.60959
KNNW 2 0.00000 -0.02039 0.02373 0.00383 0.06175 0.04262 0.60872
LOF 2 0.06452 0.04545 0.03674 0.01710 0.08824 0.06965 0.62752
LOF 3 0.04301 0.02350 0.04085 0.02130 0.09036 0.07182 0.69496
LOF 4 0.03226 0.01253 0.04000 0.02043 0.09982 0.08146 0.69711
SimplifiedLOF 2 0.05376 0.03447 0.03730 0.01767 0.08523 0.06658 0.68613
SimplifiedLOF 5 0.04301 0.02350 0.05100 0.03165 0.12108 0.10316 0.74985
SimplifiedLOF 6 0.02151 0.00156 0.05216 0.03283 0.11618 0.09817 0.75787
LoOP 2 0.04301 0.02350 0.03645 0.01680 0.08051 0.06176 0.68324
LoOP 5 0.03226 0.01253 0.05245 0.03313 0.13171 0.11401 0.75777
LoOP 6 0.02151 0.00156 0.05443 0.03515 0.12293 0.10505 0.76593
LoOP 7 0.03226 0.01253 0.05440 0.03512 0.12481 0.10697 0.76704
LDOF 6 0.05376 0.03447 0.06023 0.04107 0.16086 0.14375 0.76229
LDOF 7 0.07527 0.05642 0.06215 0.04303 0.15385 0.13660 0.76545
LDOF 11 0.07527 0.05642 0.05895 0.03977 0.13087 0.11315 0.78473
ODIN 4 0.08696 0.06834 0.05540 0.03615 0.11676 0.09876 0.76411
ODIN 7 0.06358 0.04449 0.05625 0.03701 0.13542 0.11779 0.74882
FastABOD 3 0.00000 -0.02039 0.02494 0.00506 0.05655 0.03731 0.60719
FastABOD 6 0.00000 -0.02039 0.02529 0.00542 0.06312 0.04402 0.62805
FastABOD 7 0.00000 -0.02039 0.02506 0.00518 0.06392 0.04483 0.62575
KDEOS 20 0.12903 0.11128 0.07519 0.05634 0.15464 0.13741 0.78815
KDEOS 23 0.07527 0.05642 0.08119 0.06246 0.18023 0.16352 0.79082
KDEOS 24 0.06452 0.04545 0.08094 0.06221 0.18072 0.16402 0.79310
LDF 2 0.05376 0.03447 0.03325 0.01354 0.07719 0.05838 0.62489
LDF 3 0.03226 0.01253 0.03489 0.01521 0.07727 0.05846 0.67030
LDF 4 0.02151 0.00156 0.03424 0.01455 0.07606 0.05723 0.67848
INFLO 2 0.05376 0.03447 0.03613 0.01648 0.08361 0.06493 0.66349
INFLO 4 0.04301 0.02350 0.04156 0.02202 0.09877 0.08039 0.71343
INFLO 6 0.01075 -0.00941 0.04316 0.02366 0.10972 0.09157 0.71180
COF 4 0.04301 0.02350 0.04278 0.02326 0.10151 0.08319 0.71219

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 5 attributes, 4671 objects, 93 outliers (1.99%)

Download raw algorithm results (39.7 MB) Download raw algorithm evaluation table (72.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.00000 -0.02031 0.02280 0.00295 0.05657 0.03741 0.59514
KNNW 1 0.00000 -0.02031 0.02588 0.00609 0.06209 0.04304 0.63796
LOF 1 0.07527 0.05648 0.03723 0.01767 0.11159 0.09354 0.60973
LOF 2 0.08602 0.06745 0.03890 0.01938 0.10345 0.08524 0.59836
LOF 4 0.05376 0.03454 0.04069 0.02121 0.10351 0.08529 0.68249
LOF 6 0.02151 0.00163 0.03713 0.01757 0.09340 0.07498 0.68790
SimplifiedLOF 3 0.07527 0.05648 0.04603 0.02665 0.11781 0.09989 0.71973
SimplifiedLOF 5 0.05376 0.03454 0.05218 0.03292 0.13576 0.11820 0.72941
SimplifiedLOF 10 0.02151 0.00163 0.04674 0.02737 0.11045 0.09238 0.74653
LoOP 4 0.06452 0.04551 0.05334 0.03411 0.12816 0.11045 0.72528
LoOP 5 0.04301 0.02357 0.05385 0.03462 0.13811 0.12060 0.72682
LoOP 10 0.03226 0.01260 0.04969 0.03038 0.12132 0.10347 0.75217
LDOF 4 0.05376 0.03454 0.04524 0.02584 0.08963 0.07114 0.72476
LDOF 8 0.05376 0.03454 0.05495 0.03575 0.12834 0.11063 0.77821
LDOF 10 0.04301 0.02357 0.05688 0.03772 0.12232 0.10449 0.78552
ODIN 3 0.08678 0.06823 0.04863 0.02931 0.12537 0.10761 0.72239
ODIN 8 0.05172 0.03246 0.05305 0.03381 0.13134 0.11370 0.76270
ODIN 10 0.03288 0.01323 0.04932 0.03000 0.11307 0.09506 0.76500
FastABOD 3 0.00000 -0.02031 0.02486 0.00505 0.05707 0.03792 0.61363
FastABOD 6 0.00000 -0.02031 0.02494 0.00513 0.06377 0.04476 0.63064
KDEOS 11 0.13978 0.12231 0.07793 0.05920 0.15702 0.13990 0.77301
KDEOS 18 0.11828 0.10037 0.08372 0.06511 0.17576 0.15901 0.79289
KDEOS 21 0.13978 0.12231 0.08806 0.06954 0.16465 0.14768 0.80209
KDEOS 29 0.13978 0.12231 0.09316 0.07474 0.17143 0.15460 0.79852
LDF 1 0.03226 0.01260 0.03056 0.01086 0.08800 0.06947 0.59485
LDF 2 0.07527 0.05648 0.03461 0.01499 0.08537 0.06679 0.60462
LDF 6 0.01075 -0.00934 0.03105 0.01137 0.07505 0.05626 0.66355
INFLO 3 0.07527 0.05648 0.04340 0.02397 0.11385 0.09585 0.65016
INFLO 8 0.03226 0.01260 0.03897 0.01945 0.10329 0.08507 0.68215
COF 3 0.06452 0.04551 0.04442 0.02500 0.10978 0.09169 0.69871
COF 4 0.07527 0.05648 0.04478 0.02537 0.09804 0.07972 0.69582
COF 5 0.05376 0.03454 0.04412 0.02471 0.09921 0.08091 0.71581

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 5 attributes, 4655 objects, 93 outliers (2.00%)

Download raw algorithm results (40.1 MB) Download raw algorithm evaluation table (72.5 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.00000 -0.02039 0.04182 0.02229 0.10066 0.08232 0.77439
KNN 4 0.00000 -0.02039 0.04271 0.02319 0.10778 0.08959 0.78297
KNN 5 0.00000 -0.02039 0.04227 0.02275 0.10961 0.09146 0.78076
KNNW 1 0.00000 -0.02039 0.03497 0.01529 0.09091 0.07238 0.71238
KNNW 7 0.00000 -0.02039 0.04237 0.02285 0.10944 0.09128 0.78210
KNNW 8 0.00000 -0.02039 0.04235 0.02282 0.10987 0.09173 0.78190
LOF 3 0.11828 0.10030 0.05331 0.03401 0.13652 0.11892 0.68495
LOF 14 0.05376 0.03447 0.09535 0.07691 0.19580 0.17941 0.87561
LOF 22 0.07527 0.05642 0.09660 0.07818 0.21647 0.20050 0.86601
LOF 29 0.05376 0.03447 0.09229 0.07378 0.21759 0.20164 0.85535
SimplifiedLOF 5 0.10753 0.08933 0.05594 0.03670 0.14173 0.12424 0.70860
SimplifiedLOF 29 0.05376 0.03447 0.09266 0.07416 0.19355 0.17711 0.87899
SimplifiedLOF 46 0.04301 0.02350 0.08799 0.06939 0.20128 0.18500 0.86742
LoOP 13 0.09677 0.07836 0.07871 0.05993 0.17778 0.16102 0.82682
LoOP 23 0.08602 0.06739 0.08731 0.06870 0.20172 0.18544 0.86762
LoOP 29 0.05376 0.03447 0.09051 0.07197 0.19369 0.17726 0.87633
LoOP 34 0.04301 0.02350 0.09105 0.07252 0.19341 0.17696 0.87583
LDOF 20 0.08602 0.06739 0.06164 0.04251 0.12627 0.10846 0.81458
LDOF 48 0.05376 0.03447 0.08288 0.06419 0.17528 0.15847 0.87167
LDOF 59 0.03226 0.01253 0.08292 0.06422 0.18182 0.16514 0.86662
LDOF 82 0.04301 0.02350 0.07868 0.05989 0.18605 0.16945 0.85758
ODIN 24 0.16027 0.14315 0.11436 0.09631 0.20912 0.19299 0.87595
ODIN 37 0.15930 0.14216 0.12789 0.11011 0.21687 0.20090 0.87070
ODIN 38 0.16018 0.14306 0.12722 0.10943 0.21898 0.20306 0.87132
ODIN 52 0.18548 0.16888 0.11030 0.09216 0.19438 0.17796 0.85143
FastABOD 3 0.00000 -0.02039 0.02794 0.00813 0.06411 0.04503 0.65097
FastABOD 13 0.00000 -0.02039 0.03000 0.01022 0.07187 0.05295 0.66973
FastABOD 32 0.00000 -0.02039 0.02979 0.01002 0.07500 0.05614 0.66563
KDEOS 85 0.19355 0.17711 0.16055 0.14343 0.23704 0.22148 0.85004
KDEOS 94 0.21505 0.19905 0.17465 0.15782 0.26087 0.24580 0.84984
KDEOS 96 0.24731 0.23197 0.16877 0.15183 0.25668 0.24153 0.84954
KDEOS 99 0.23656 0.22100 0.17830 0.16155 0.25581 0.24064 0.84938
LDF 13 0.09677 0.07836 0.09861 0.08023 0.20192 0.18565 0.86850
LDF 14 0.07527 0.05642 0.09855 0.08018 0.20000 0.18369 0.86984
LDF 20 0.11828 0.10030 0.09351 0.07503 0.21649 0.20052 0.85446
LDF 22 0.12903 0.11128 0.09322 0.07474 0.20574 0.18955 0.84971
INFLO 13 0.12903 0.11128 0.07250 0.05359 0.17155 0.15466 0.78111
INFLO 27 0.05376 0.03447 0.07839 0.05960 0.17795 0.16119 0.82613
INFLO 29 0.04301 0.02350 0.07878 0.06000 0.17842 0.16167 0.82325
INFLO 33 0.04301 0.02350 0.07634 0.05751 0.17917 0.16243 0.81746
COF 28 0.18280 0.16614 0.12054 0.10262 0.23488 0.21928 0.86869
COF 29 0.18280 0.16614 0.12399 0.10613 0.25087 0.23560 0.86869
COF 30 0.18280 0.16614 0.12245 0.10456 0.26198 0.24694 0.86667

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 5 attributes, 4671 objects, 93 outliers (1.99%)

Download raw algorithm results (40.2 MB) Download raw algorithm evaluation table (72.0 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.00000 -0.02031 0.04413 0.02471 0.10352 0.08531 0.78567
KNN 2 0.00000 -0.02031 0.04593 0.02655 0.10769 0.08957 0.80096
KNN 3 0.00000 -0.02031 0.04558 0.02620 0.10888 0.09078 0.80237
KNN 4 0.00000 -0.02031 0.04536 0.02596 0.11072 0.09266 0.80233
KNNW 1 0.00000 -0.02031 0.03906 0.01954 0.09027 0.07179 0.74370
KNNW 5 0.00000 -0.02031 0.04518 0.02578 0.10800 0.08988 0.79929
KNNW 6 0.00000 -0.02031 0.04510 0.02570 0.10732 0.08918 0.79984
KNNW 16 0.00000 -0.02031 0.04219 0.02274 0.10843 0.09032 0.78565
LOF 6 0.15054 0.13328 0.09350 0.07508 0.17910 0.16243 0.87249
LOF 11 0.10753 0.08940 0.09903 0.08073 0.19068 0.17424 0.89136
LOF 15 0.09677 0.07843 0.10208 0.08384 0.19890 0.18262 0.88946
LOF 23 0.08602 0.06745 0.09601 0.07764 0.20863 0.19256 0.87827
SimplifiedLOF 4 0.12903 0.11134 0.06224 0.04319 0.15082 0.13357 0.72189
SimplifiedLOF 25 0.08602 0.06745 0.09897 0.08066 0.19544 0.17910 0.88750
SimplifiedLOF 28 0.08602 0.06745 0.09795 0.07963 0.19149 0.17506 0.88769
SimplifiedLOF 33 0.06452 0.04551 0.09558 0.07720 0.19895 0.18268 0.88703
LoOP 7 0.15054 0.13328 0.07653 0.05777 0.15257 0.13535 0.80035
LoOP 24 0.08602 0.06745 0.09772 0.07939 0.19780 0.18151 0.88577
LoOP 25 0.08602 0.06745 0.09820 0.07988 0.19318 0.17679 0.88679
LoOP 34 0.06452 0.04551 0.09670 0.07835 0.19708 0.18077 0.88842
LDOF 9 0.09677 0.07843 0.06017 0.04108 0.15033 0.13307 0.73841
LDOF 34 0.08602 0.06745 0.08549 0.06691 0.17925 0.16257 0.87319
LDOF 44 0.06452 0.04551 0.08482 0.06623 0.17154 0.15471 0.87611
LDOF 51 0.05376 0.03454 0.08407 0.06546 0.18103 0.16440 0.87489
ODIN 23 0.15298 0.13577 0.11857 0.10066 0.22333 0.20755 0.89484
ODIN 26 0.13374 0.11614 0.12313 0.10531 0.24198 0.22658 0.89753
ODIN 27 0.13978 0.12231 0.12356 0.10576 0.23499 0.21945 0.89632
FastABOD 3 0.01075 -0.00934 0.02900 0.00927 0.06576 0.04678 0.65138
FastABOD 7 0.00000 -0.02031 0.03237 0.01271 0.07338 0.05455 0.69320
FastABOD 8 0.00000 -0.02031 0.03201 0.01235 0.07475 0.05595 0.68860
KDEOS 94 0.21505 0.19911 0.13048 0.11282 0.22086 0.20503 0.87050
KDEOS 95 0.21505 0.19911 0.13233 0.11470 0.23392 0.21836 0.87103
KDEOS 97 0.21505 0.19911 0.13923 0.12174 0.22111 0.20528 0.87171
KDEOS 100 0.21505 0.19911 0.14195 0.12452 0.21990 0.20405 0.87155
LDF 5 0.12903 0.11134 0.09394 0.07554 0.18284 0.16624 0.88156
LDF 8 0.09677 0.07843 0.10216 0.08392 0.20045 0.18420 0.89814
LDF 10 0.08602 0.06745 0.10216 0.08392 0.19525 0.17890 0.89249
LDF 15 0.10753 0.08940 0.09858 0.08027 0.20217 0.18596 0.88113
INFLO 8 0.12903 0.11134 0.07800 0.05927 0.17197 0.15515 0.79751
INFLO 15 0.09677 0.07843 0.08883 0.07032 0.19155 0.17513 0.85270
INFLO 19 0.08602 0.06745 0.08701 0.06846 0.20388 0.18771 0.84986
INFLO 22 0.07527 0.05648 0.08768 0.06915 0.19499 0.17863 0.86224
COF 20 0.10753 0.08940 0.10397 0.08577 0.20582 0.18968 0.87818
COF 22 0.13978 0.12231 0.10921 0.09111 0.22082 0.20499 0.87347
COF 23 0.17204 0.15522 0.11086 0.09280 0.21865 0.20278 0.87104

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO