Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

ALOI

This dataset is a collection of images provided by Geusebroek et al. [1], and has been used for outlier detection in different representations. We follow the processing of [2]. In this version, the data are represented in 27 numeric attributes (HSB histograms) and consist of 50,000 instances, divided into 1508 outliers (3.04%) and 48492 inliers (96.98%). This database contains 466 duplicates all belonging to inliers.

It was not feasible to run FastABOD for this data set due to its size and therefore the results for this method are missing.

References:

[1] J. M. Geusebroek, G. J. Burghouts, and A. W. M. Smeulders. The Amsterdam Library of Object Images. Int. J. Computer Vision, 61(1):103-112, 2005.
[2] H.-P. Kriegel, P. Kroeger, E. Schubert, and A. Zimek. Interpreting and unifying outlier scores. In Proc. SDM, pages 13-24, 2011.

Download all data set variants used (19.6 MB). You can also access the original data.

Normalized, without duplicates

This version contains 27 attributes, 49534 objects, 1508 outliers (3.04%)

Download raw algorithm results (345.6 MB) Download raw algorithm evaluation table (67.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.17308 0.14711 0.13017 0.10286 0.17933 0.15356 0.74062
KNNW 1 0.17573 0.14985 0.14027 0.11327 0.18082 0.15510 0.74358
KNNW 2 0.17440 0.14848 0.13670 0.10959 0.17937 0.15360 0.74434
LOF 3 0.21154 0.18678 0.13760 0.11052 0.21791 0.19336 0.74770
LOF 9 0.18501 0.15942 0.12136 0.09377 0.19957 0.17443 0.78228
SimplifiedLOF 5 0.20955 0.18473 0.14273 0.11581 0.21471 0.19005 0.77973
SimplifiedLOF 7 0.20225 0.17721 0.13845 0.11140 0.21705 0.19247 0.79082
SimplifiedLOF 16 0.17241 0.14643 0.12116 0.09356 0.19497 0.16969 0.79565
LoOP 7 0.21618 0.19157 0.15102 0.12436 0.23444 0.21040 0.79538
LoOP 8 0.22281 0.19841 0.15122 0.12456 0.23144 0.20731 0.79744
LoOP 12 0.21154 0.18678 0.14971 0.12301 0.23133 0.20720 0.80081
ODIN 8 0.23282 0.20873 0.14347 0.11658 0.24752 0.22389 0.79899
ODIN 11 0.23487 0.21084 0.15499 0.12846 0.24430 0.22057 0.80502
ODIN 13 0.23709 0.21313 0.15775 0.13131 0.24182 0.21801 0.80355
ODIN 17 0.22153 0.19708 0.16193 0.13561 0.22878 0.20456 0.79565
KDEOS 19 0.12798 0.10060 0.08381 0.05504 0.15106 0.12440 0.75878
KDEOS 28 0.12135 0.09376 0.08928 0.06068 0.15559 0.12907 0.76722
KDEOS 99 0.12268 0.09513 0.09362 0.06516 0.15430 0.12774 0.77258
KDEOS 100 0.12334 0.09582 0.09403 0.06559 0.15273 0.12613 0.77243
LDF 3 0.14987 0.12317 0.10039 0.07214 0.16205 0.13574 0.72094
LDF 9 0.12931 0.10197 0.08615 0.05745 0.14551 0.11868 0.74621
INFLO 5 0.22878 0.20456 0.14882 0.12209 0.23526 0.21125 0.77810
INFLO 9 0.21021 0.18541 0.14219 0.11526 0.22580 0.20149 0.79874
COF 5 0.22944 0.20525 0.15038 0.12370 0.23173 0.20760 0.78092
COF 6 0.22812 0.20388 0.15208 0.12545 0.23265 0.20855 0.79146
COF 13 0.19496 0.16968 0.14344 0.11655 0.20998 0.18517 0.80168

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 27 attributes, 50000 objects, 1508 outliers (3.02%)

Download raw algorithm results (347.0 MB) Download raw algorithm evaluation table (66.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.17374 0.14805 0.13019 0.10314 0.17982 0.15432 0.74141
KNNW 1 0.17573 0.15010 0.14090 0.11418 0.18164 0.15619 0.74862
LOF 3 0.21088 0.18634 0.13298 0.10601 0.21881 0.19451 0.74755
LOF 9 0.18568 0.16035 0.11933 0.09195 0.19791 0.17297 0.78437
SimplifiedLOF 4 0.20955 0.18497 0.13710 0.11027 0.21418 0.18975 0.77125
SimplifiedLOF 7 0.20027 0.17540 0.13415 0.10722 0.21859 0.19429 0.79267
SimplifiedLOF 9 0.19562 0.17061 0.13114 0.10412 0.21236 0.18786 0.79755
LoOP 7 0.21684 0.19249 0.15065 0.12424 0.23462 0.21082 0.79672
LoOP 8 0.22281 0.19864 0.15084 0.12443 0.23180 0.20791 0.79850
LoOP 9 0.22016 0.19591 0.15088 0.12448 0.22886 0.20487 0.80103
LoOP 12 0.21021 0.18565 0.14852 0.12204 0.23272 0.20886 0.80243
ODIN 8 0.23397 0.21015 0.14362 0.11699 0.24777 0.22438 0.80060
ODIN 12 0.23450 0.21069 0.15644 0.13020 0.24430 0.22080 0.80608
ODIN 14 0.23720 0.21347 0.16066 0.13456 0.23813 0.21443 0.80214
ODIN 26 0.21963 0.19536 0.16201 0.13595 0.22377 0.19963 0.78533
KDEOS 19 0.12732 0.10018 0.08360 0.05510 0.15090 0.12450 0.76041
KDEOS 28 0.12135 0.09403 0.08867 0.06033 0.15525 0.12898 0.76915
KDEOS 98 0.12003 0.09266 0.09264 0.06442 0.15412 0.12782 0.77409
KDEOS 100 0.12334 0.09608 0.09352 0.06533 0.15415 0.12784 0.77408
LDF 3 0.15119 0.12480 0.10143 0.07349 0.16363 0.13762 0.72342
LDF 9 0.13064 0.10360 0.08717 0.05878 0.14766 0.12115 0.74790
INFLO 5 0.22745 0.20343 0.14351 0.11687 0.23509 0.21130 0.77921
INFLO 9 0.21021 0.18565 0.13931 0.11255 0.22596 0.20189 0.80020
COF 5 0.22613 0.20206 0.14791 0.12142 0.23070 0.20677 0.78181
COF 6 0.22679 0.20275 0.15054 0.12413 0.23064 0.20672 0.79240
COF 7 0.21286 0.18839 0.15072 0.12431 0.22974 0.20579 0.79740
COF 13 0.19363 0.16856 0.14095 0.11424 0.21083 0.18629 0.80353

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 27 attributes, 49534 objects, 1508 outliers (3.04%)

Download raw algorithm results (343.2 MB) Download raw algorithm evaluation table (66.5 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.18103 0.15532 0.15349 0.12691 0.18401 0.15838 0.73511
KNNW 1 0.18369 0.15806 0.15659 0.13011 0.18776 0.16225 0.73698
KNNW 2 0.18037 0.15464 0.15790 0.13146 0.18840 0.16291 0.73838
LOF 3 0.15981 0.13343 0.11255 0.08469 0.18620 0.16065 0.73000
LOF 4 0.17507 0.14916 0.11349 0.08565 0.18404 0.15841 0.73851
LOF 10 0.16313 0.13685 0.10072 0.07248 0.17487 0.14896 0.76123
SimplifiedLOF 4 0.17440 0.14848 0.11779 0.09009 0.18549 0.15991 0.74272
SimplifiedLOF 6 0.17706 0.15122 0.11702 0.08929 0.18218 0.15650 0.76087
SimplifiedLOF 9 0.17109 0.14506 0.11390 0.08608 0.18942 0.16397 0.77572
SimplifiedLOF 15 0.16180 0.13548 0.10649 0.07843 0.18422 0.15860 0.77834
LoOP 9 0.18236 0.15669 0.12579 0.09834 0.19457 0.16928 0.78122
LoOP 14 0.18700 0.16147 0.12274 0.09520 0.19611 0.17087 0.78371
LoOP 15 0.18568 0.16011 0.12183 0.09426 0.19940 0.17426 0.78390
LoOP 16 0.18501 0.15942 0.12070 0.09309 0.20165 0.17658 0.78275
ODIN 10 0.21182 0.18707 0.13428 0.10709 0.21690 0.19231 0.79174
ODIN 14 0.21429 0.18962 0.14024 0.11325 0.22861 0.20439 0.78467
ODIN 15 0.21930 0.19479 0.14067 0.11369 0.22794 0.20369 0.78348
ODIN 20 0.21328 0.18858 0.14683 0.12004 0.22407 0.19970 0.78069
KDEOS 95 0.13727 0.11018 0.10360 0.07546 0.16100 0.13466 0.78070
KDEOS 97 0.13992 0.11291 0.10482 0.07671 0.16100 0.13465 0.78132
KDEOS 100 0.13926 0.11223 0.10590 0.07782 0.15974 0.13336 0.78207
LDF 4 0.14390 0.11702 0.09057 0.06202 0.15345 0.12687 0.71084
LDF 10 0.11141 0.08350 0.07466 0.04560 0.13009 0.10277 0.72687
INFLO 5 0.17772 0.15190 0.12251 0.09496 0.19217 0.16681 0.75937
INFLO 8 0.17507 0.14916 0.12012 0.09249 0.19461 0.16932 0.78453
INFLO 10 0.17905 0.15327 0.11746 0.08975 0.19630 0.17106 0.78010
INFLO 12 0.18369 0.15806 0.11520 0.08741 0.19404 0.16874 0.77837
COF 5 0.18369 0.15806 0.12802 0.10064 0.19331 0.16798 0.75648
COF 9 0.18037 0.15464 0.13433 0.10714 0.19910 0.17395 0.77916
COF 12 0.17175 0.14574 0.12800 0.10061 0.19617 0.17093 0.78497

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 27 attributes, 50000 objects, 1508 outliers (3.02%)

Download raw algorithm results (344.7 MB) Download raw algorithm evaluation table (66.0 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.18170 0.15625 0.15358 0.12726 0.18461 0.15925 0.73618
KNNW 1 0.18369 0.15830 0.15709 0.13088 0.18797 0.16272 0.74191
KNNW 2 0.18037 0.15488 0.15832 0.13215 0.18887 0.16364 0.74096
LOF 4 0.17440 0.14873 0.11031 0.08264 0.18453 0.15917 0.73898
LOF 10 0.15981 0.13369 0.09813 0.07008 0.17531 0.14966 0.76275
SimplifiedLOF 6 0.17639 0.15078 0.11410 0.08655 0.18350 0.15810 0.76302
SimplifiedLOF 9 0.16844 0.14258 0.11084 0.08319 0.18955 0.16435 0.77820
SimplifiedLOF 14 0.16114 0.13505 0.10396 0.07610 0.18308 0.15768 0.78016
LoOP 9 0.18170 0.15625 0.12523 0.09803 0.19561 0.17059 0.78290
LoOP 14 0.18767 0.16240 0.12163 0.09431 0.19416 0.16910 0.78526
LoOP 22 0.17971 0.15420 0.11416 0.08661 0.20095 0.17611 0.78139
ODIN 10 0.21156 0.18704 0.13351 0.10656 0.21708 0.19273 0.79375
ODIN 15 0.21878 0.19449 0.14068 0.11396 0.22826 0.20426 0.78533
ODIN 19 0.21302 0.18855 0.14663 0.12009 0.22502 0.20092 0.78307
KDEOS 94 0.13859 0.11181 0.10222 0.07430 0.15891 0.13275 0.78210
KDEOS 97 0.13528 0.10839 0.10424 0.07639 0.16106 0.13497 0.78298
KDEOS 100 0.13793 0.11112 0.10531 0.07748 0.16068 0.13458 0.78402
LDF 4 0.14058 0.11386 0.09010 0.06181 0.15206 0.12569 0.71105
LDF 10 0.11340 0.08582 0.07449 0.04571 0.12824 0.10113 0.72750
INFLO 4 0.18103 0.15557 0.11822 0.09080 0.19605 0.17105 0.75121
INFLO 5 0.17838 0.15283 0.11998 0.09261 0.19325 0.16816 0.76154
INFLO 8 0.17573 0.15010 0.11631 0.08882 0.19286 0.16776 0.78459
INFLO 12 0.18369 0.15830 0.11123 0.08359 0.19300 0.16790 0.77994
COF 7 0.18435 0.15899 0.12624 0.09906 0.19735 0.17239 0.77166
COF 9 0.18037 0.15488 0.12839 0.10128 0.20157 0.17674 0.78015
COF 12 0.16910 0.14326 0.12383 0.09659 0.19778 0.17283 0.78645

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO