Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Wilt (2% of outliers version#01)

The data set differentiates diseased trees from other land covers. The former are considered outliers here.

Download all data set variants used (7.2 MB). You can also access the original data. (merge train and test [wilt.zip])

Normalized, without duplicates

This version contains 5 attributes, 4655 objects, 93 outliers (2.00%)

Download raw algorithm results (39.6 MB) Download raw algorithm evaluation table (72.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.00000 -0.02039 0.02143 0.00148 0.05388 0.03459 0.57200
KNNW 1 0.00000 -0.02039 0.02370 0.00380 0.05905 0.03987 0.60616
LOF 2 0.06452 0.04545 0.03214 0.01241 0.08358 0.06490 0.61279
LOF 4 0.05376 0.03447 0.03324 0.01353 0.07519 0.05633 0.63268
LOF 6 0.03226 0.01253 0.03292 0.01321 0.07154 0.05261 0.64678
SimplifiedLOF 5 0.06452 0.04545 0.04254 0.02302 0.09904 0.08067 0.70878
SimplifiedLOF 6 0.06452 0.04545 0.04326 0.02376 0.09249 0.07399 0.72371
SimplifiedLOF 10 0.03226 0.01253 0.04078 0.02123 0.09054 0.07200 0.73261
LoOP 3 0.06452 0.04545 0.03924 0.01965 0.08869 0.07011 0.68138
LoOP 5 0.06452 0.04545 0.04386 0.02437 0.10676 0.08855 0.71415
LoOP 6 0.06452 0.04545 0.04520 0.02573 0.09774 0.07935 0.72842
LoOP 10 0.04301 0.02350 0.04275 0.02324 0.09208 0.07357 0.73604
LDOF 3 0.06452 0.04545 0.03966 0.02008 0.08675 0.06813 0.66834
LDOF 5 0.06452 0.04545 0.04507 0.02561 0.11144 0.09332 0.71133
LDOF 7 0.06452 0.04545 0.04985 0.03048 0.11080 0.09268 0.74953
LDOF 10 0.04301 0.02350 0.04753 0.02811 0.09650 0.07808 0.77135
ODIN 3 0.08547 0.06683 0.04559 0.02613 0.12232 0.10443 0.69783
ODIN 7 0.08418 0.06551 0.05445 0.03518 0.11740 0.09940 0.73894
ODIN 9 0.06961 0.05064 0.05130 0.03196 0.12000 0.10206 0.74326
ODIN 10 0.08495 0.06629 0.05259 0.03328 0.12349 0.10562 0.73885
FastABOD 3 0.00000 -0.02039 0.02387 0.00397 0.05610 0.03686 0.59685
FastABOD 4 0.00000 -0.02039 0.02374 0.00384 0.05747 0.03826 0.60446
FastABOD 6 0.00000 -0.02039 0.02334 0.00343 0.05967 0.04051 0.60393
KDEOS 21 0.10753 0.08933 0.06463 0.04557 0.13364 0.11598 0.78982
KDEOS 29 0.10753 0.08933 0.07742 0.05861 0.15122 0.13392 0.78500
KDEOS 41 0.10753 0.08933 0.07623 0.05740 0.15385 0.13660 0.77253
KDEOS 48 0.13978 0.12225 0.07523 0.05638 0.14925 0.13191 0.76650
LDF 2 0.05376 0.03447 0.02981 0.01003 0.06776 0.04875 0.60000
LDF 4 0.02151 0.00156 0.03056 0.01080 0.06282 0.04371 0.62864
LDF 5 0.02151 0.00156 0.02957 0.00979 0.07088 0.05194 0.63006
INFLO 3 0.07527 0.05642 0.03582 0.01616 0.08964 0.07108 0.61762
INFLO 4 0.07527 0.05642 0.03756 0.01794 0.09009 0.07154 0.65191
INFLO 6 0.05376 0.03447 0.03631 0.01666 0.09624 0.07782 0.65300
COF 4 0.04301 0.02350 0.03748 0.01786 0.08565 0.06701 0.67426
COF 6 0.04301 0.02350 0.03551 0.01584 0.07306 0.05416 0.68326

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 5 attributes, 4671 objects, 93 outliers (1.99%)

Download raw algorithm results (39.7 MB) Download raw algorithm evaluation table (72.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.00000 -0.02031 0.02415 0.00433 0.05942 0.04031 0.61656
KNNW 1 0.00000 -0.02031 0.02324 0.00340 0.05571 0.03652 0.58472
KNNW 2 0.00000 -0.02031 0.02354 0.00370 0.05613 0.03695 0.60181
KNNW 3 0.00000 -0.02031 0.02322 0.00338 0.05743 0.03828 0.59979
LOF 3 0.03226 0.01260 0.04579 0.02640 0.10969 0.09161 0.71702
LOF 4 0.06452 0.04551 0.04742 0.02806 0.10966 0.09157 0.73600
SimplifiedLOF 3 0.07527 0.05648 0.04551 0.02612 0.11030 0.09223 0.69359
SimplifiedLOF 6 0.03226 0.01260 0.05459 0.03538 0.13258 0.11496 0.76661
SimplifiedLOF 10 0.04301 0.02357 0.05186 0.03260 0.11765 0.09972 0.77844
LoOP 2 0.06452 0.04551 0.03791 0.01836 0.08148 0.06282 0.67843
LoOP 7 0.04301 0.02357 0.05795 0.03881 0.13529 0.11773 0.78119
LoOP 9 0.04301 0.02357 0.05602 0.03684 0.12844 0.11074 0.78654
LDOF 8 0.08602 0.06745 0.05376 0.03454 0.11908 0.10119 0.76894
LDOF 10 0.06452 0.04551 0.05706 0.03791 0.12456 0.10677 0.79553
ODIN 7 0.05497 0.03577 0.07152 0.05265 0.16271 0.14570 0.80665
ODIN 9 0.08774 0.06921 0.06200 0.04294 0.13972 0.12224 0.78186
FastABOD 3 0.00000 -0.02031 0.02583 0.00604 0.06230 0.04325 0.62040
FastABOD 5 0.00000 -0.02031 0.02586 0.00607 0.06400 0.04499 0.63177
KDEOS 21 0.11828 0.10037 0.08956 0.07107 0.16928 0.15240 0.81937
KDEOS 25 0.12903 0.11134 0.08817 0.06964 0.18132 0.16469 0.81454
KDEOS 28 0.15054 0.13328 0.08867 0.07015 0.16156 0.14453 0.81659
LDF 2 0.04301 0.02357 0.03747 0.01791 0.08789 0.06936 0.65949
LDF 4 0.04301 0.02357 0.04102 0.02154 0.09331 0.07489 0.70563
INFLO 4 0.06452 0.04551 0.04387 0.02445 0.10033 0.08206 0.70464
INFLO 6 0.03226 0.01260 0.04674 0.02737 0.12018 0.10231 0.73275
INFLO 8 0.03226 0.01260 0.04410 0.02468 0.12262 0.10479 0.71727
COF 2 0.06452 0.04551 0.03911 0.01959 0.08046 0.06178 0.64393
COF 3 0.06452 0.04551 0.04241 0.02295 0.10612 0.08796 0.65906
COF 4 0.05376 0.03454 0.04364 0.02421 0.10256 0.08433 0.69456
COF 6 0.02151 0.00163 0.04167 0.02220 0.09238 0.07394 0.72088

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 5 attributes, 4655 objects, 93 outliers (2.00%)

Download raw algorithm results (40.1 MB) Download raw algorithm evaluation table (72.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.00000 -0.02039 0.04000 0.02043 0.09777 0.07937 0.77001
KNN 2 0.00000 -0.02039 0.04165 0.02211 0.10045 0.08211 0.78046
KNN 3 0.00000 -0.02039 0.04100 0.02145 0.10119 0.08287 0.77802
KNNW 1 0.00000 -0.02039 0.03582 0.01616 0.08949 0.07093 0.72632
KNNW 6 0.00000 -0.02039 0.04081 0.02126 0.09770 0.07930 0.77805
KNNW 9 0.00000 -0.02039 0.04020 0.02063 0.09985 0.08150 0.77439
LOF 11 0.08602 0.06739 0.09721 0.07880 0.19900 0.18268 0.88671
LOF 18 0.11828 0.10030 0.10165 0.08333 0.19407 0.17764 0.88236
LOF 19 0.10753 0.08933 0.10176 0.08345 0.20112 0.18483 0.88008
SimplifiedLOF 22 0.10753 0.08933 0.09416 0.07569 0.17996 0.16324 0.88759
SimplifiedLOF 23 0.09677 0.07836 0.09575 0.07731 0.17568 0.15887 0.88967
SimplifiedLOF 27 0.08602 0.06739 0.09566 0.07722 0.17905 0.16231 0.88998
SimplifiedLOF 32 0.07527 0.05642 0.09493 0.07648 0.18232 0.16565 0.88770
LoOP 19 0.11828 0.10030 0.08804 0.06945 0.16460 0.14757 0.87555
LoOP 26 0.10753 0.08933 0.09368 0.07520 0.18075 0.16405 0.88497
LoOP 27 0.09677 0.07836 0.09443 0.07597 0.17851 0.16176 0.88576
LoOP 32 0.09677 0.07836 0.09460 0.07614 0.17935 0.16262 0.88427
LDOF 20 0.09677 0.07836 0.06420 0.04512 0.13559 0.11797 0.81838
LDOF 46 0.08602 0.06739 0.08661 0.06799 0.17009 0.15317 0.88290
LDOF 50 0.09677 0.07836 0.08718 0.06857 0.17722 0.16044 0.88163
LDOF 54 0.08602 0.06739 0.08749 0.06889 0.17208 0.15520 0.88149
ODIN 26 0.13733 0.11974 0.12038 0.10244 0.19377 0.17734 0.89732
ODIN 38 0.17742 0.16065 0.13304 0.11536 0.22152 0.20565 0.89072
ODIN 58 0.19635 0.17997 0.11801 0.10003 0.21466 0.19865 0.86065
ODIN 66 0.15914 0.14200 0.11307 0.09499 0.22663 0.21086 0.84922
FastABOD 3 0.00000 -0.02039 0.02843 0.00863 0.06495 0.04588 0.65416
FastABOD 11 0.00000 -0.02039 0.02934 0.00955 0.06891 0.04993 0.66617
FastABOD 13 0.00000 -0.02039 0.02927 0.00948 0.06655 0.04752 0.66626
KDEOS 93 0.18280 0.16614 0.13454 0.11690 0.20690 0.19073 0.87887
KDEOS 94 0.20430 0.18808 0.13385 0.11619 0.21000 0.19390 0.87901
KDEOS 100 0.19355 0.17711 0.13449 0.11685 0.21333 0.19730 0.87738
LDF 10 0.11828 0.10030 0.10462 0.08636 0.19578 0.17938 0.88910
LDF 20 0.09677 0.07836 0.09408 0.07561 0.20501 0.18880 0.85924
INFLO 13 0.12903 0.11128 0.07190 0.05298 0.13901 0.12146 0.81958
INFLO 24 0.12903 0.11128 0.08227 0.06356 0.16174 0.14465 0.84737
INFLO 27 0.10753 0.08933 0.08440 0.06573 0.16619 0.14919 0.84654
INFLO 30 0.09677 0.07836 0.08181 0.06310 0.16667 0.14968 0.84581
COF 21 0.17204 0.15516 0.11654 0.09853 0.22140 0.20553 0.89495
COF 26 0.18280 0.16614 0.12324 0.10537 0.25296 0.23774 0.88448
COF 30 0.19355 0.17711 0.12006 0.10212 0.23963 0.22413 0.87052

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 5 attributes, 4671 objects, 93 outliers (1.99%)

Download raw algorithm results (40.2 MB) Download raw algorithm evaluation table (71.5 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.00000 -0.02031 0.04237 0.02292 0.10177 0.08353 0.76985
KNNW 1 0.00000 -0.02031 0.03791 0.01836 0.09284 0.07441 0.70262
KNNW 4 0.00000 -0.02031 0.04114 0.02166 0.09728 0.07894 0.76635
KNNW 7 0.00000 -0.02031 0.04080 0.02131 0.10046 0.08218 0.76956
KNNW 8 0.00000 -0.02031 0.04063 0.02114 0.10018 0.08190 0.76999
LOF 12 0.10753 0.08940 0.08091 0.06224 0.16000 0.14294 0.84574
LOF 19 0.10753 0.08940 0.08791 0.06938 0.17257 0.15576 0.85959
LOF 26 0.08602 0.06745 0.08412 0.06551 0.17931 0.16264 0.85501
SimplifiedLOF 22 0.10753 0.08940 0.08097 0.06230 0.15873 0.14164 0.85652
SimplifiedLOF 29 0.07527 0.05648 0.08206 0.06342 0.17496 0.15820 0.86517
SimplifiedLOF 34 0.06452 0.04551 0.08288 0.06425 0.16960 0.15273 0.86655
LoOP 21 0.10753 0.08940 0.07775 0.05901 0.15385 0.13666 0.84489
LoOP 32 0.07527 0.05648 0.08161 0.06295 0.17638 0.15965 0.86111
LoOP 34 0.06452 0.04551 0.08239 0.06375 0.17523 0.15847 0.86299
LDOF 20 0.09677 0.07843 0.06306 0.04403 0.14758 0.13027 0.78984
LDOF 54 0.05376 0.03454 0.07448 0.05568 0.15934 0.14226 0.85712
LDOF 56 0.05376 0.03454 0.07506 0.05627 0.15584 0.13870 0.85758
ODIN 24 0.15854 0.14145 0.10433 0.08614 0.17252 0.15571 0.85794
ODIN 34 0.12750 0.10977 0.10031 0.08203 0.17771 0.16101 0.86053
ODIN 59 0.12043 0.10256 0.09078 0.07231 0.18861 0.17212 0.84321
FastABOD 3 0.00000 -0.02031 0.03110 0.01141 0.07657 0.05781 0.65325
FastABOD 4 0.01075 -0.00934 0.02944 0.00973 0.06814 0.04921 0.64775
FastABOD 16 0.00000 -0.02031 0.02883 0.00911 0.06523 0.04624 0.65390
KDEOS 99 0.18280 0.16619 0.10926 0.09116 0.19792 0.18162 0.83673
KDEOS 100 0.19355 0.17717 0.10932 0.09123 0.19672 0.18040 0.83640
LDF 6 0.12903 0.11134 0.07280 0.05397 0.15649 0.13935 0.80496
LDF 14 0.09677 0.07843 0.08863 0.07012 0.16556 0.14861 0.86009
LDF 18 0.10753 0.08940 0.08991 0.07142 0.17837 0.16168 0.85685
LDF 24 0.07527 0.05648 0.08403 0.06542 0.18219 0.16558 0.84894
INFLO 15 0.10753 0.08940 0.06495 0.04596 0.14570 0.12834 0.76322
INFLO 26 0.08602 0.06745 0.07214 0.05329 0.16927 0.15239 0.80602
INFLO 27 0.08602 0.06745 0.07248 0.05364 0.16704 0.15012 0.80754
COF 24 0.13978 0.12231 0.11739 0.09946 0.24478 0.22943 0.87169
COF 25 0.15054 0.13328 0.11663 0.09869 0.23529 0.21976 0.87222
COF 30 0.16129 0.14425 0.11410 0.09610 0.21705 0.20115 0.86650

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO