Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Annthyroid (2% of outliers version#07)

This data set contains medical data on hypothyroidism. Three classes relate to the conditions normal, hyperfunction, and subnormal functioning. Classes other than normal condition were defined as outliers here.

Download all data set variants used (9.9 MB). You can also access the original data. (merge train and test [ann-test.data and ann-train.data])

Normalized, without duplicates

This version contains 21 attributes, 6729 objects, 134 outliers (1.99%)

Download raw algorithm results (58.4 MB) Download raw algorithm evaluation table (71.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.06716 0.04821 0.04450 0.02508 0.10526 0.08708 0.68720
KNNW 1 0.09701 0.07867 0.05020 0.03090 0.11429 0.09629 0.70235
LOF 1 0.08209 0.06344 0.03693 0.01736 0.10119 0.08293 0.58803
LOF 5 0.02239 0.00252 0.04964 0.03033 0.12813 0.11041 0.69431
LOF 9 0.02985 0.01014 0.04895 0.02963 0.13309 0.11547 0.72538
LOF 11 0.02985 0.01014 0.04869 0.02936 0.13589 0.11833 0.71259
SimplifiedLOF 1 0.05970 0.04060 0.03445 0.01483 0.08824 0.06971 0.62232
SimplifiedLOF 10 0.02985 0.01014 0.05055 0.03126 0.11513 0.09715 0.74338
SimplifiedLOF 11 0.03731 0.01775 0.05085 0.03156 0.11936 0.10147 0.74235
SimplifiedLOF 15 0.03731 0.01775 0.04830 0.02896 0.12025 0.10238 0.73536
LoOP 3 0.10448 0.08628 0.04678 0.02742 0.12813 0.11042 0.66036
LoOP 11 0.06716 0.04821 0.05303 0.03379 0.12165 0.10381 0.74658
LoOP 19 0.08955 0.07105 0.05292 0.03367 0.13408 0.11648 0.73973
LoOP 98 0.07463 0.05582 0.06224 0.04319 0.09043 0.07194 0.65046
LDOF 11 0.09701 0.07867 0.06093 0.04185 0.12466 0.10688 0.76849
LDOF 30 0.12687 0.10912 0.07024 0.05135 0.14027 0.12280 0.75422
LDOF 45 0.11940 0.10151 0.06862 0.04969 0.14110 0.12365 0.74068
LDOF 80 0.11194 0.09390 0.07219 0.05334 0.12394 0.10614 0.69698
ODIN 17 0.08324 0.06461 0.04998 0.03068 0.10478 0.08659 0.72615
ODIN 35 0.10261 0.08438 0.05479 0.03559 0.13559 0.11803 0.69637
ODIN 46 0.09950 0.08121 0.05400 0.03478 0.14747 0.13014 0.67773
ODIN 100 0.12002 0.10215 0.05428 0.03506 0.13008 0.11241 0.65030
FastABOD 4 0.05224 0.03298 0.04232 0.02286 0.09066 0.07219 0.68181
FastABOD 8 0.05224 0.03298 0.03947 0.01995 0.09074 0.07226 0.67319
KDEOS 15 0.09701 0.07867 0.05930 0.04019 0.11060 0.09253 0.71073
KDEOS 17 0.11194 0.09390 0.05916 0.04005 0.12000 0.10212 0.71421
KDEOS 36 0.07463 0.05582 0.04885 0.02952 0.09032 0.07184 0.72632
LDF 3 0.08209 0.06344 0.04477 0.02536 0.11511 0.09713 0.65886
LDF 5 0.03731 0.01775 0.05054 0.03125 0.13081 0.11315 0.69638
INFLO 2 0.09701 0.07867 0.04494 0.02553 0.12418 0.10639 0.63869
INFLO 12 0.05224 0.03298 0.04700 0.02763 0.12654 0.10879 0.68259
INFLO 15 0.05224 0.03298 0.04361 0.02417 0.13020 0.11253 0.63710
COF 3 0.10448 0.08628 0.04401 0.02458 0.10959 0.09150 0.63866
COF 10 0.05970 0.04060 0.04665 0.02727 0.11013 0.09205 0.70796
COF 21 0.07463 0.05582 0.04836 0.02903 0.12131 0.10345 0.68850
COF 43 0.05970 0.04060 0.05589 0.03670 0.10021 0.08193 0.64913

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 6802 objects, 136 outliers (2.00%)

Download raw algorithm results (58.9 MB) Download raw algorithm evaluation table (71.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.06618 0.04712 0.03976 0.02017 0.11299 0.09490 0.66987
KNNW 1 0.08088 0.06213 0.04007 0.02048 0.09581 0.07736 0.68155
KNNW 3 0.05147 0.03212 0.03843 0.01881 0.10797 0.08977 0.67078
LOF 3 0.04412 0.02462 0.04553 0.02606 0.11976 0.10180 0.67916
LOF 6 0.02941 0.00961 0.05303 0.03371 0.13846 0.12088 0.71838
LOF 7 0.03676 0.01711 0.05203 0.03269 0.14054 0.12301 0.71833
LOF 9 0.03676 0.01711 0.05042 0.03105 0.13333 0.11565 0.72494
SimplifiedLOF 7 0.04412 0.02462 0.04815 0.02873 0.11421 0.09614 0.73479
SimplifiedLOF 9 0.03676 0.01711 0.04875 0.02935 0.12480 0.10695 0.73364
SimplifiedLOF 10 0.03676 0.01711 0.04845 0.02904 0.12557 0.10773 0.73242
LoOP 8 0.07353 0.05463 0.05325 0.03394 0.12658 0.10876 0.73842
LoOP 16 0.06618 0.04712 0.05440 0.03511 0.13453 0.11687 0.72197
LoOP 25 0.08824 0.06963 0.05065 0.03128 0.12121 0.10328 0.71004
LoOP 98 0.04412 0.02462 0.05651 0.03726 0.07143 0.05248 0.65742
LDOF 17 0.11765 0.09965 0.06160 0.04245 0.12589 0.10806 0.75239
LDOF 27 0.12500 0.10715 0.06712 0.04809 0.13820 0.12061 0.74361
LDOF 29 0.13235 0.11465 0.06597 0.04692 0.14199 0.12448 0.73686
LDOF 34 0.13235 0.11465 0.06618 0.04713 0.14754 0.13015 0.73190
ODIN 11 0.07535 0.05649 0.04872 0.02931 0.10303 0.08473 0.73033
ODIN 41 0.12710 0.10929 0.05677 0.03753 0.14324 0.12576 0.68890
ODIN 45 0.11415 0.09607 0.05732 0.03809 0.14731 0.12991 0.68587
FastABOD 6 0.04412 0.02462 0.03150 0.01174 0.06836 0.04936 0.64341
FastABOD 7 0.05882 0.03962 0.03167 0.01192 0.06562 0.04656 0.64307
FastABOD 9 0.05882 0.03962 0.03178 0.01202 0.07054 0.05158 0.64122
FastABOD 93 0.05147 0.03212 0.03036 0.01058 0.07859 0.05979 0.61394
KDEOS 14 0.11765 0.09965 0.05295 0.03363 0.12721 0.10940 0.70733
KDEOS 39 0.08824 0.06963 0.05805 0.03883 0.10414 0.08586 0.73022
KDEOS 65 0.06618 0.04712 0.06614 0.04709 0.10368 0.08539 0.71892
LDF 2 0.08088 0.06213 0.03519 0.01551 0.09605 0.07760 0.60807
LDF 4 0.04412 0.02462 0.04371 0.02420 0.11881 0.10083 0.66877
LDF 6 0.03676 0.01711 0.04345 0.02394 0.11549 0.09744 0.67695
INFLO 2 0.05882 0.03962 0.03814 0.01852 0.09662 0.07819 0.64693
INFLO 8 0.04412 0.02462 0.04869 0.02928 0.12451 0.10665 0.69357
INFLO 10 0.04412 0.02462 0.04940 0.03001 0.13576 0.11813 0.68287
COF 9 0.05882 0.03962 0.04724 0.02780 0.12186 0.10395 0.69821
COF 14 0.07353 0.05463 0.04761 0.02818 0.11828 0.10029 0.70037
COF 16 0.08824 0.06963 0.04820 0.02878 0.11785 0.09985 0.69038

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 6729 objects, 134 outliers (1.99%)

Download raw algorithm results (57.8 MB) Download raw algorithm evaluation table (72.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.07463 0.05582 0.04221 0.02275 0.09288 0.07445 0.68157
KNNW 1 0.10448 0.08628 0.04972 0.03041 0.10917 0.09107 0.70908
LOF 2 0.08209 0.06344 0.04644 0.02707 0.12371 0.10591 0.63437
LOF 4 0.04478 0.02537 0.05156 0.03229 0.15170 0.13446 0.68846
LOF 5 0.03731 0.01775 0.05169 0.03243 0.14676 0.12942 0.69393
LOF 10 0.02985 0.01014 0.04756 0.02821 0.13758 0.12006 0.69946
SimplifiedLOF 2 0.07463 0.05582 0.04279 0.02334 0.10654 0.08838 0.68575
SimplifiedLOF 7 0.04478 0.02537 0.05386 0.03463 0.14394 0.12655 0.74411
SimplifiedLOF 9 0.04478 0.02537 0.05289 0.03365 0.13613 0.11857 0.74714
LoOP 3 0.11940 0.10151 0.05321 0.03397 0.13699 0.11945 0.70321
LoOP 8 0.07463 0.05582 0.05839 0.03925 0.14155 0.12411 0.75327
LoOP 11 0.05970 0.04060 0.05767 0.03852 0.14476 0.12738 0.74587
LDOF 9 0.11940 0.10151 0.07038 0.05149 0.14557 0.12821 0.78434
LDOF 17 0.14179 0.12435 0.07524 0.05645 0.14870 0.13140 0.76749
LDOF 32 0.13433 0.11674 0.08767 0.06913 0.16368 0.14669 0.74637
ODIN 9 0.09550 0.07712 0.05492 0.03572 0.12366 0.10585 0.72248
ODIN 27 0.12338 0.10557 0.06228 0.04323 0.16058 0.14353 0.69399
ODIN 74 0.17090 0.15405 0.06059 0.04151 0.17204 0.15522 0.64959
ODIN 80 0.16269 0.14567 0.06038 0.04128 0.17333 0.15654 0.64358
FastABOD 3 0.04478 0.02537 0.03966 0.02014 0.09404 0.07564 0.67919
FastABOD 4 0.05224 0.03298 0.03908 0.01955 0.09697 0.07862 0.67445
FastABOD 5 0.05970 0.04060 0.03900 0.01948 0.09363 0.07521 0.67408
KDEOS 21 0.07463 0.05582 0.06226 0.04321 0.13171 0.11406 0.73024
KDEOS 24 0.10448 0.08628 0.06445 0.04544 0.11739 0.09946 0.72954
KDEOS 25 0.08955 0.07105 0.06100 0.04192 0.11583 0.09787 0.73263
KDEOS 28 0.08955 0.07105 0.06614 0.04716 0.10667 0.08852 0.73189
LDF 2 0.08955 0.07105 0.04339 0.02395 0.11561 0.09764 0.63194
LDF 3 0.08209 0.06344 0.04491 0.02551 0.12019 0.10232 0.65393
LDF 4 0.04478 0.02537 0.04429 0.02487 0.13203 0.11439 0.66790
LDF 5 0.02985 0.01014 0.04338 0.02395 0.13423 0.11664 0.66590
INFLO 2 0.09701 0.07867 0.04915 0.02983 0.13149 0.11384 0.69587
INFLO 6 0.05224 0.03298 0.05020 0.03090 0.13553 0.11797 0.68606
INFLO 12 0.03731 0.01775 0.04679 0.02742 0.13807 0.12055 0.66993
COF 2 0.08955 0.07105 0.04622 0.02684 0.10275 0.08452 0.68935
COF 6 0.07463 0.05582 0.05206 0.03280 0.13596 0.11840 0.70685
COF 8 0.07463 0.05582 0.05301 0.03377 0.13527 0.11770 0.71153
COF 9 0.08209 0.06344 0.05292 0.03368 0.12791 0.11019 0.71742

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 6802 objects, 136 outliers (2.00%)

Download raw algorithm results (58.3 MB) Download raw algorithm evaluation table (71.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.07353 0.05463 0.03861 0.01899 0.10204 0.08372 0.66384
KNNW 1 0.06618 0.04712 0.04163 0.02208 0.09562 0.07717 0.69405
KNNW 2 0.06618 0.04712 0.03959 0.01999 0.10345 0.08516 0.67825
LOF 1 0.05147 0.03212 0.03398 0.01427 0.09346 0.07496 0.59252
LOF 6 0.03676 0.01711 0.05609 0.03684 0.15289 0.13561 0.71977
SimplifiedLOF 7 0.03676 0.01711 0.05285 0.03352 0.13283 0.11514 0.74698
SimplifiedLOF 8 0.03676 0.01711 0.05317 0.03385 0.12658 0.10876 0.74975
LoOP 5 0.11029 0.09214 0.05932 0.04013 0.14094 0.12341 0.74142
LoOP 8 0.08824 0.06963 0.06249 0.04336 0.14321 0.12573 0.75687
LoOP 13 0.09559 0.07714 0.06178 0.04264 0.15461 0.13737 0.74439
LDOF 16 0.15441 0.13716 0.08655 0.06792 0.16927 0.15232 0.78648
LDOF 23 0.14706 0.12966 0.09101 0.07246 0.18563 0.16901 0.77583
LDOF 26 0.16176 0.14466 0.09286 0.07435 0.17270 0.15582 0.77041
LDOF 30 0.14706 0.12966 0.09616 0.07772 0.16812 0.15114 0.76423
ODIN 8 0.11042 0.09227 0.05967 0.04049 0.13072 0.11298 0.73666
ODIN 18 0.13644 0.11882 0.07225 0.05333 0.16260 0.14552 0.72370
ODIN 26 0.13132 0.11360 0.07162 0.05267 0.17552 0.15870 0.71768
ODIN 38 0.15630 0.13909 0.06680 0.04776 0.16837 0.15140 0.69931
FastABOD 5 0.04412 0.02462 0.03413 0.01442 0.07392 0.05503 0.64912
FastABOD 6 0.04412 0.02462 0.03430 0.01460 0.07494 0.05607 0.64771
FastABOD 39 0.03676 0.01711 0.03214 0.01240 0.08531 0.06665 0.62378
KDEOS 23 0.10294 0.08464 0.07220 0.05327 0.14502 0.12757 0.74612
KDEOS 24 0.12500 0.10715 0.07349 0.05459 0.14286 0.12537 0.74538
KDEOS 31 0.09559 0.07714 0.06123 0.04207 0.12860 0.11082 0.74859
LDF 2 0.08824 0.06963 0.04391 0.02441 0.11409 0.09602 0.64100
LDF 3 0.08824 0.06963 0.04899 0.02959 0.13483 0.11718 0.67764
LDF 5 0.02206 0.00211 0.04394 0.02444 0.11399 0.09591 0.69217
INFLO 1 0.05882 0.03962 0.03527 0.01559 0.08960 0.07103 0.62069
INFLO 4 0.05147 0.03212 0.05080 0.03143 0.13129 0.11357 0.70942
INFLO 6 0.04412 0.02462 0.05488 0.03560 0.14474 0.12729 0.70787
INFLO 7 0.04412 0.02462 0.05224 0.03290 0.14706 0.12966 0.67829
COF 8 0.08088 0.06213 0.05125 0.03190 0.12321 0.10532 0.71243
COF 9 0.08824 0.06963 0.04964 0.03025 0.12440 0.10654 0.70375
COF 10 0.08824 0.06963 0.05119 0.03183 0.13182 0.11411 0.71274

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO