Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Annthyroid (2% of outliers version#08)

This data set contains medical data on hypothyroidism. Three classes relate to the conditions normal, hyperfunction, and subnormal functioning. Classes other than normal condition were defined as outliers here.

Download all data set variants used (9.9 MB). You can also access the original data. (merge train and test [ann-test.data and ann-train.data])

Normalized, without duplicates

This version contains 21 attributes, 6729 objects, 134 outliers (1.99%)

Download raw algorithm results (58.4 MB) Download raw algorithm evaluation table (72.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.03731 0.01775 0.04188 0.02242 0.10390 0.08569 0.70680
KNN 2 0.04478 0.02537 0.03917 0.01965 0.09813 0.07981 0.68997
KNNW 1 0.05224 0.03298 0.04710 0.02774 0.11055 0.09248 0.72611
LOF 2 0.08955 0.07105 0.05561 0.03643 0.14419 0.12680 0.69109
LOF 6 0.02985 0.01014 0.06181 0.04275 0.15133 0.13409 0.75927
LOF 8 0.02239 0.00252 0.05955 0.04044 0.16475 0.14778 0.75302
SimplifiedLOF 1 0.05970 0.04060 0.03401 0.01439 0.08586 0.06728 0.62322
SimplifiedLOF 4 0.05224 0.03298 0.05853 0.03940 0.15248 0.13526 0.74487
SimplifiedLOF 8 0.02985 0.01014 0.06080 0.04171 0.14342 0.12601 0.78065
LoOP 5 0.10448 0.08628 0.06152 0.04245 0.14751 0.13019 0.75703
LoOP 7 0.08955 0.07105 0.06488 0.04588 0.14754 0.13022 0.77712
LoOP 11 0.05970 0.04060 0.06352 0.04449 0.15270 0.13548 0.77537
LDOF 13 0.11194 0.09390 0.07293 0.05409 0.14433 0.12694 0.79447
LDOF 27 0.11194 0.09390 0.07629 0.05753 0.16552 0.14856 0.76509
LDOF 33 0.12687 0.10912 0.07361 0.05479 0.17048 0.15362 0.75948
LDOF 35 0.13433 0.11674 0.07302 0.05419 0.15909 0.14200 0.75695
ODIN 7 0.09859 0.08028 0.05264 0.03339 0.11111 0.09305 0.74387
ODIN 37 0.12090 0.10303 0.07009 0.05120 0.17866 0.16197 0.70767
ODIN 40 0.11959 0.10171 0.06914 0.05023 0.18414 0.16757 0.70012
ODIN 88 0.13557 0.11801 0.06058 0.04149 0.16489 0.14793 0.67021
FastABOD 4 0.02985 0.01014 0.03523 0.01563 0.07946 0.06075 0.68279
FastABOD 5 0.02985 0.01014 0.03502 0.01541 0.08037 0.06169 0.68522
FastABOD 6 0.02985 0.01014 0.03498 0.01537 0.08276 0.06412 0.68296
FastABOD 22 0.03731 0.01775 0.03355 0.01391 0.07714 0.05839 0.66422
KDEOS 14 0.11940 0.10151 0.06245 0.04340 0.13419 0.11659 0.74140
KDEOS 16 0.10448 0.08628 0.06456 0.04555 0.12971 0.11202 0.74780
KDEOS 24 0.10448 0.08628 0.06595 0.04697 0.13613 0.11857 0.74101
KDEOS 61 0.10448 0.08628 0.07333 0.05450 0.11067 0.09260 0.72809
LDF 2 0.10448 0.08628 0.04878 0.02945 0.13291 0.11529 0.68351
LDF 4 0.03731 0.01775 0.05672 0.03756 0.15677 0.13964 0.72155
INFLO 1 0.08955 0.07105 0.03939 0.01988 0.11062 0.09255 0.62077
INFLO 6 0.05224 0.03298 0.05558 0.03639 0.14050 0.12303 0.73700
INFLO 8 0.04478 0.02537 0.05678 0.03761 0.13986 0.12238 0.73408
INFLO 13 0.03731 0.01775 0.05477 0.03556 0.15686 0.13973 0.70845
COF 3 0.08955 0.07105 0.05191 0.03265 0.12705 0.10931 0.71202
COF 7 0.05970 0.04060 0.05950 0.04039 0.14706 0.12973 0.76444
COF 8 0.05970 0.04060 0.06008 0.04098 0.14898 0.13168 0.76122
COF 10 0.04478 0.02537 0.05882 0.03970 0.15190 0.13467 0.74726

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 6802 objects, 136 outliers (2.00%)

Download raw algorithm results (58.9 MB) Download raw algorithm evaluation table (71.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.08088 0.06213 0.04457 0.02508 0.11176 0.09364 0.68870
KNNW 1 0.09559 0.07714 0.04878 0.02938 0.11321 0.09512 0.70546
KNNW 2 0.08088 0.06213 0.04625 0.02680 0.11732 0.09931 0.69812
LOF 3 0.08088 0.06213 0.04995 0.03056 0.13752 0.11993 0.68736
LOF 6 0.05147 0.03212 0.05285 0.03353 0.13953 0.12198 0.72014
LOF 7 0.04412 0.02462 0.05140 0.03205 0.13384 0.11617 0.72545
SimplifiedLOF 3 0.05882 0.03962 0.04426 0.02476 0.10795 0.08975 0.70476
SimplifiedLOF 7 0.05147 0.03212 0.05091 0.03155 0.12857 0.11079 0.73657
SimplifiedLOF 11 0.03676 0.01711 0.04879 0.02938 0.11617 0.09814 0.74137
LoOP 5 0.10294 0.08464 0.06041 0.04124 0.13665 0.11903 0.74255
LoOP 7 0.09559 0.07714 0.06214 0.04301 0.14868 0.13131 0.75033
LoOP 11 0.09559 0.07714 0.05994 0.04077 0.14932 0.13197 0.74723
LDOF 7 0.08088 0.06213 0.06514 0.04607 0.12389 0.10602 0.76959
LDOF 15 0.13235 0.11465 0.06632 0.04727 0.13235 0.11465 0.75767
LDOF 30 0.12500 0.10715 0.07480 0.05593 0.15861 0.14144 0.75180
LDOF 32 0.12500 0.10715 0.07437 0.05549 0.15886 0.14170 0.74655
ODIN 10 0.08263 0.06391 0.05049 0.03112 0.11091 0.09277 0.72300
ODIN 53 0.10349 0.08520 0.05618 0.03692 0.12183 0.10391 0.68661
ODIN 58 0.10882 0.09064 0.05525 0.03598 0.11594 0.09791 0.68262
ODIN 96 0.09816 0.07976 0.05970 0.04052 0.11927 0.10130 0.66013
FastABOD 3 0.04412 0.02462 0.03547 0.01580 0.08049 0.06173 0.66831
FastABOD 7 0.06618 0.04712 0.03689 0.01724 0.08553 0.06687 0.65953
FastABOD 18 0.05882 0.03962 0.03574 0.01607 0.09290 0.07439 0.64895
KDEOS 11 0.08824 0.06963 0.05131 0.03195 0.11640 0.09837 0.73270
KDEOS 12 0.10294 0.08464 0.05400 0.03470 0.11905 0.10107 0.73200
KDEOS 18 0.08088 0.06213 0.05274 0.03342 0.12446 0.10660 0.72499
KDEOS 63 0.08824 0.06963 0.06201 0.04287 0.10202 0.08370 0.71371
LDF 2 0.11029 0.09214 0.04318 0.02365 0.13374 0.11607 0.63504
LDF 4 0.04412 0.02462 0.04919 0.02979 0.13567 0.11803 0.69607
LDF 6 0.03676 0.01711 0.04738 0.02795 0.13223 0.11453 0.69676
INFLO 5 0.08088 0.06213 0.04968 0.03029 0.13043 0.11269 0.67818
INFLO 6 0.06618 0.04712 0.05313 0.03381 0.13302 0.11533 0.71114
INFLO 7 0.05882 0.03962 0.05312 0.03380 0.13605 0.11843 0.70372
COF 4 0.08824 0.06963 0.04948 0.03008 0.11685 0.09884 0.70959
COF 5 0.08088 0.06213 0.05201 0.03267 0.13131 0.11359 0.71778
COF 7 0.07353 0.05463 0.05180 0.03245 0.13453 0.11687 0.70830
COF 15 0.04412 0.02462 0.05237 0.03304 0.12500 0.10715 0.70462

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 6729 objects, 134 outliers (1.99%)

Download raw algorithm results (57.8 MB) Download raw algorithm evaluation table (73.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.03731 0.01775 0.03988 0.02037 0.09964 0.08134 0.69199
KNNW 1 0.05224 0.03298 0.04520 0.02580 0.10817 0.09005 0.71154
LOF 2 0.09701 0.07867 0.05608 0.03690 0.15652 0.13938 0.67521
LOF 4 0.03731 0.01775 0.06442 0.04541 0.17480 0.15803 0.73928
LOF 6 0.02985 0.01014 0.06493 0.04593 0.17311 0.15631 0.75856
SimplifiedLOF 2 0.06716 0.04821 0.04990 0.03060 0.13429 0.11670 0.70592
SimplifiedLOF 6 0.03731 0.01775 0.06241 0.04336 0.15471 0.13754 0.76723
SimplifiedLOF 8 0.02985 0.01014 0.06068 0.04159 0.15230 0.13507 0.77454
LoOP 3 0.12687 0.10912 0.06096 0.04188 0.16292 0.14591 0.71896
LoOP 8 0.09701 0.07867 0.06583 0.04685 0.15135 0.13411 0.77872
LoOP 9 0.08955 0.07105 0.06642 0.04745 0.15722 0.14010 0.77566
LoOP 11 0.07463 0.05582 0.06614 0.04717 0.17021 0.15335 0.77467
LDOF 13 0.11940 0.10151 0.08074 0.06206 0.16279 0.14578 0.79783
LDOF 21 0.11194 0.09390 0.08873 0.07022 0.19451 0.17815 0.78539
LDOF 27 0.12687 0.10912 0.09000 0.07151 0.17827 0.16158 0.77452
LDOF 35 0.15672 0.13958 0.08561 0.06703 0.17849 0.16180 0.75481
ODIN 10 0.12664 0.10890 0.07068 0.05180 0.15066 0.13341 0.75790
ODIN 18 0.13629 0.11874 0.08328 0.06465 0.18070 0.16405 0.74535
ODIN 27 0.13806 0.12055 0.07923 0.06052 0.20476 0.18860 0.71618
ODIN 99 0.15864 0.14155 0.06829 0.04936 0.16606 0.14912 0.65717
FastABOD 4 0.03731 0.01775 0.03525 0.01565 0.07635 0.05758 0.67711
FastABOD 5 0.03731 0.01775 0.03549 0.01590 0.07947 0.06077 0.67410
FastABOD 17 0.04478 0.02537 0.03301 0.01336 0.07648 0.05771 0.65327
KDEOS 23 0.11194 0.09390 0.07936 0.06066 0.13772 0.12020 0.75985
KDEOS 28 0.12687 0.10912 0.09123 0.07276 0.14130 0.12386 0.75915
KDEOS 63 0.14925 0.13197 0.08383 0.06522 0.15217 0.13495 0.71892
KDEOS 83 0.11940 0.10151 0.07664 0.05788 0.15311 0.13590 0.70637
LDF 2 0.08955 0.07105 0.04999 0.03069 0.13808 0.12057 0.66262
LDF 3 0.08209 0.06344 0.05725 0.03810 0.14815 0.13084 0.70726
LDF 4 0.04478 0.02537 0.05460 0.03539 0.14050 0.12303 0.71089
INFLO 1 0.08955 0.07105 0.04383 0.02440 0.12500 0.10722 0.64440
INFLO 4 0.05970 0.04060 0.05684 0.03767 0.15595 0.13880 0.72123
INFLO 6 0.04478 0.02537 0.05631 0.03714 0.14374 0.12634 0.73125
INFLO 10 0.03731 0.01775 0.05567 0.03648 0.16462 0.14765 0.70642
COF 2 0.08209 0.06344 0.04823 0.02889 0.14286 0.12544 0.68601
COF 7 0.07463 0.05582 0.06041 0.04132 0.14920 0.13191 0.74959
COF 8 0.07463 0.05582 0.05973 0.04063 0.15530 0.13814 0.75280
COF 10 0.06716 0.04821 0.05918 0.04006 0.15638 0.13924 0.74096

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 6802 objects, 136 outliers (2.00%)

Download raw algorithm results (58.3 MB) Download raw algorithm evaluation table (72.0 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.06618 0.04712 0.04092 0.02136 0.10000 0.08164 0.67300
KNNW 1 0.07353 0.05463 0.04685 0.02741 0.12069 0.10275 0.69654
KNNW 2 0.08088 0.06213 0.04333 0.02382 0.11386 0.09578 0.68510
LOF 1 0.08088 0.06213 0.04147 0.02192 0.11342 0.09533 0.61260
LOF 5 0.02941 0.00961 0.05262 0.03329 0.14669 0.12928 0.70769
LOF 6 0.03676 0.01711 0.05540 0.03613 0.14311 0.12563 0.72216
SimplifiedLOF 5 0.04412 0.02462 0.05006 0.03068 0.12670 0.10888 0.72805
SimplifiedLOF 7 0.03676 0.01711 0.05244 0.03311 0.13100 0.11328 0.74183
SimplifiedLOF 10 0.02206 0.00211 0.05261 0.03328 0.12754 0.10974 0.75510
SimplifiedLOF 12 0.02941 0.00961 0.05227 0.03294 0.12485 0.10699 0.75616
LoOP 5 0.11765 0.09965 0.06418 0.04509 0.15610 0.13888 0.74091
LoOP 10 0.08824 0.06963 0.06614 0.04709 0.15351 0.13624 0.76601
LoOP 12 0.08824 0.06963 0.06517 0.04609 0.14573 0.12830 0.76843
LDOF 14 0.13235 0.11465 0.08520 0.06653 0.17156 0.15466 0.79642
LDOF 21 0.14706 0.12966 0.08624 0.06759 0.16165 0.14455 0.77915
LDOF 31 0.14706 0.12966 0.09154 0.07301 0.16327 0.14619 0.76504
ODIN 6 0.12422 0.10636 0.06001 0.04084 0.13468 0.11703 0.74744
ODIN 16 0.12772 0.10993 0.07057 0.05161 0.16241 0.14532 0.73046
ODIN 38 0.14015 0.12261 0.06613 0.04708 0.14074 0.12321 0.67492
FastABOD 5 0.06618 0.04712 0.03558 0.01591 0.08081 0.06205 0.64648
FastABOD 7 0.05882 0.03962 0.03576 0.01609 0.08458 0.06590 0.64241
FastABOD 25 0.05882 0.03962 0.03314 0.01342 0.09249 0.07397 0.62748
KDEOS 10 0.06618 0.04712 0.07424 0.05536 0.12131 0.10338 0.73037
KDEOS 24 0.12500 0.10715 0.06422 0.04512 0.12598 0.10815 0.74579
KDEOS 26 0.11765 0.09965 0.06402 0.04492 0.13008 0.11233 0.74857
KDEOS 28 0.11765 0.09965 0.06116 0.04200 0.12618 0.10836 0.75249
LDF 2 0.10294 0.08464 0.04364 0.02412 0.11184 0.09372 0.64596
LDF 4 0.04412 0.02462 0.04646 0.02700 0.11429 0.09622 0.69692
LDF 6 0.02206 0.00211 0.04819 0.02877 0.13065 0.11292 0.69131
INFLO 1 0.08824 0.06963 0.04306 0.02354 0.12012 0.10217 0.64998
INFLO 2 0.08088 0.06213 0.05176 0.03241 0.13793 0.12034 0.70985
INFLO 6 0.05882 0.03962 0.05295 0.03363 0.14642 0.12901 0.69729
INFLO 8 0.04412 0.02462 0.05353 0.03422 0.13986 0.12231 0.69905
COF 3 0.05882 0.03962 0.05144 0.03209 0.13679 0.11918 0.70830
COF 6 0.07353 0.05463 0.05292 0.03360 0.12851 0.11073 0.69214
COF 10 0.08088 0.06213 0.05228 0.03295 0.12567 0.10784 0.71390
COF 11 0.08824 0.06963 0.05147 0.03212 0.12521 0.10736 0.71136

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO