Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Annthyroid (2% of outliers version#10)

This data set contains medical data on hypothyroidism. Three classes relate to the conditions normal, hyperfunction, and subnormal functioning. Classes other than normal condition were defined as outliers here.

Download all data set variants used (9.9 MB). You can also access the original data. (merge train and test [ann-test.data and ann-train.data])

Normalized, without duplicates

This version contains 21 attributes, 6729 objects, 134 outliers (1.99%)

Download raw algorithm results (58.4 MB) Download raw algorithm evaluation table (72.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.07463 0.05582 0.03964 0.02013 0.10084 0.08257 0.67247
KNNW 1 0.08955 0.07105 0.04446 0.02505 0.11414 0.09614 0.69755
LOF 1 0.05970 0.04060 0.03409 0.01446 0.09888 0.08057 0.58278
LOF 5 0.02239 0.00252 0.05384 0.03461 0.13916 0.12167 0.73408
LOF 6 0.02239 0.00252 0.05385 0.03463 0.13314 0.11553 0.73597
LOF 10 0.03731 0.01775 0.05319 0.03395 0.13611 0.11855 0.74156
SimplifiedLOF 5 0.04478 0.02537 0.04863 0.02930 0.10811 0.08999 0.74121
SimplifiedLOF 9 0.02985 0.01014 0.05307 0.03383 0.12237 0.10454 0.75546
SimplifiedLOF 10 0.03731 0.01775 0.05274 0.03350 0.12678 0.10904 0.75560
SimplifiedLOF 11 0.03731 0.01775 0.05225 0.03299 0.11884 0.10094 0.75631
LoOP 5 0.08209 0.06344 0.04822 0.02888 0.10319 0.08497 0.73095
LoOP 15 0.07463 0.05582 0.05660 0.03743 0.13889 0.12139 0.75403
LoOP 22 0.07463 0.05582 0.05443 0.03522 0.14371 0.12631 0.74927
LoOP 85 0.05224 0.03298 0.06496 0.04596 0.08676 0.06821 0.68259
LDOF 15 0.11940 0.10151 0.06476 0.04575 0.14148 0.12404 0.76521
LDOF 19 0.12687 0.10912 0.06474 0.04574 0.13333 0.11572 0.76104
LDOF 21 0.11194 0.09390 0.06633 0.04736 0.13149 0.11384 0.76634
LDOF 91 0.08955 0.07105 0.07122 0.05235 0.09639 0.07803 0.69583
ODIN 11 0.07463 0.05582 0.04988 0.03058 0.10959 0.09150 0.73627
ODIN 33 0.10666 0.08851 0.05862 0.03950 0.14385 0.12646 0.71431
ODIN 41 0.12070 0.10283 0.05771 0.03857 0.13583 0.11827 0.70260
FastABOD 3 0.03731 0.01775 0.03412 0.01450 0.08451 0.06591 0.64694
FastABOD 4 0.04478 0.02537 0.03461 0.01499 0.09524 0.07685 0.64683
FastABOD 7 0.04478 0.02537 0.03464 0.01503 0.09302 0.07459 0.64216
KDEOS 30 0.06716 0.04821 0.04743 0.02807 0.09115 0.07268 0.74261
KDEOS 39 0.08209 0.06344 0.04767 0.02832 0.09697 0.07862 0.73680
KDEOS 50 0.07463 0.05582 0.04830 0.02896 0.11373 0.09572 0.73431
KDEOS 52 0.06716 0.04821 0.04943 0.03011 0.10730 0.08916 0.73460
LDF 3 0.06716 0.04821 0.04574 0.02635 0.11203 0.09399 0.67748
LDF 5 0.03731 0.01775 0.05227 0.03301 0.12851 0.11081 0.72614
INFLO 1 0.07463 0.05582 0.03167 0.01199 0.07719 0.05844 0.60688
INFLO 8 0.02985 0.01014 0.05000 0.03070 0.13053 0.11286 0.70396
INFLO 11 0.03731 0.01775 0.04893 0.02961 0.14085 0.12339 0.68866
COF 8 0.04478 0.02537 0.05171 0.03244 0.13552 0.11796 0.73342
COF 12 0.07463 0.05582 0.05248 0.03323 0.13074 0.11308 0.73417
COF 13 0.07463 0.05582 0.05229 0.03303 0.13150 0.11385 0.73738
COF 39 0.06716 0.04821 0.05828 0.03915 0.09193 0.07348 0.68473

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 6802 objects, 136 outliers (2.00%)

Download raw algorithm results (58.9 MB) Download raw algorithm evaluation table (71.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.06618 0.04712 0.04411 0.02461 0.11379 0.09571 0.68745
KNNW 1 0.06618 0.04712 0.05024 0.03086 0.12335 0.10546 0.70837
LOF 2 0.06618 0.04712 0.04453 0.02504 0.11948 0.10152 0.65074
LOF 6 0.02941 0.00961 0.05330 0.03399 0.13854 0.12097 0.73096
LOF 12 0.02206 0.00211 0.04875 0.02934 0.14100 0.12348 0.71012
SimplifiedLOF 3 0.04412 0.02462 0.04193 0.02238 0.10249 0.08418 0.68707
SimplifiedLOF 9 0.03676 0.01711 0.05191 0.03257 0.13399 0.11632 0.74515
SimplifiedLOF 15 0.02206 0.00211 0.04978 0.03039 0.13468 0.11703 0.73700
LoOP 3 0.11029 0.09214 0.04974 0.03035 0.11150 0.09337 0.68798
LoOP 9 0.08088 0.06213 0.05850 0.03929 0.13095 0.11322 0.75084
LoOP 12 0.07353 0.05463 0.05847 0.03927 0.14798 0.13060 0.74773
LDOF 17 0.11029 0.09214 0.06898 0.04998 0.13804 0.12045 0.76962
LDOF 28 0.12500 0.10715 0.07301 0.05410 0.15228 0.13499 0.75709
LDOF 31 0.13971 0.12215 0.07255 0.05363 0.15676 0.13955 0.75244
LDOF 33 0.11765 0.09965 0.07177 0.05283 0.15909 0.14193 0.74900
ODIN 11 0.10269 0.08438 0.06009 0.04091 0.12024 0.10229 0.75716
ODIN 44 0.10975 0.09159 0.06551 0.04645 0.15804 0.14086 0.70710
ODIN 47 0.11105 0.09292 0.06164 0.04250 0.15954 0.14240 0.70160
ODIN 98 0.11765 0.09965 0.05345 0.03414 0.12476 0.10690 0.69116
FastABOD 4 0.05147 0.03212 0.03778 0.01815 0.08796 0.06936 0.65978
FastABOD 5 0.05882 0.03962 0.03683 0.01718 0.08376 0.06506 0.65745
FastABOD 7 0.05882 0.03962 0.03811 0.01849 0.08551 0.06685 0.65403
KDEOS 19 0.10294 0.08464 0.07286 0.05395 0.14933 0.13198 0.73830
KDEOS 21 0.11765 0.09965 0.07332 0.05442 0.13402 0.11635 0.74137
KDEOS 30 0.12500 0.10715 0.06714 0.04810 0.13089 0.11316 0.73882
LDF 1 0.10294 0.08464 0.03781 0.01818 0.12000 0.10205 0.58367
LDF 5 0.01471 -0.00540 0.04376 0.02425 0.12293 0.10504 0.67887
LDF 6 0.02206 0.00211 0.04531 0.02583 0.12165 0.10373 0.68270
INFLO 3 0.09559 0.07714 0.04630 0.02684 0.12214 0.10423 0.66363
INFLO 8 0.05147 0.03212 0.05223 0.03289 0.12844 0.11066 0.71751
INFLO 12 0.03676 0.01711 0.05056 0.03119 0.14508 0.12764 0.69265
COF 4 0.07353 0.05463 0.04213 0.02259 0.09475 0.07629 0.68207
COF 7 0.05147 0.03212 0.05018 0.03081 0.11245 0.09434 0.71899
COF 11 0.04412 0.02462 0.04946 0.03007 0.12536 0.10751 0.71970
COF 14 0.04412 0.02462 0.04894 0.02953 0.12859 0.11081 0.71499

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 6729 objects, 134 outliers (1.99%)

Download raw algorithm results (57.9 MB) Download raw algorithm evaluation table (73.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.05970 0.04060 0.03853 0.01899 0.09481 0.07642 0.67087
KNNW 1 0.08209 0.06344 0.04466 0.02525 0.10526 0.08708 0.70272
KNNW 2 0.08955 0.07105 0.04080 0.02131 0.09906 0.08075 0.68587
LOF 2 0.07463 0.05582 0.04648 0.02711 0.12283 0.10501 0.65447
LOF 5 0.02985 0.01014 0.05945 0.04034 0.15385 0.13665 0.73453
LOF 6 0.03731 0.01775 0.05912 0.04000 0.16039 0.14333 0.73542
SimplifiedLOF 4 0.07463 0.05582 0.05438 0.03516 0.13296 0.11535 0.74637
SimplifiedLOF 6 0.03731 0.01775 0.05683 0.03767 0.13423 0.11664 0.75655
SimplifiedLOF 10 0.02985 0.01014 0.05451 0.03530 0.13940 0.12192 0.76430
LoOP 5 0.11940 0.10151 0.05988 0.04078 0.13534 0.11777 0.74651
LoOP 8 0.10448 0.08628 0.06253 0.04348 0.15693 0.13980 0.75668
LoOP 14 0.06716 0.04821 0.06294 0.04390 0.15199 0.13476 0.76360
LoOP 15 0.08209 0.06344 0.06226 0.04320 0.15190 0.13467 0.76400
LDOF 11 0.16418 0.14720 0.08222 0.06357 0.16667 0.14973 0.78155
LDOF 16 0.13433 0.11674 0.08453 0.06593 0.15951 0.14243 0.79515
LDOF 22 0.13433 0.11674 0.08506 0.06647 0.17184 0.15501 0.78180
LDOF 31 0.13433 0.11674 0.08765 0.06911 0.15414 0.13696 0.77200
ODIN 10 0.10437 0.08617 0.05924 0.04013 0.13833 0.12082 0.74372
ODIN 26 0.13921 0.12172 0.06846 0.04953 0.16038 0.14332 0.72502
ODIN 48 0.15038 0.13312 0.06501 0.04601 0.15441 0.13723 0.70641
FastABOD 4 0.05970 0.04060 0.03457 0.01496 0.09611 0.07774 0.64175
KDEOS 25 0.07463 0.05582 0.05191 0.03265 0.10317 0.08495 0.74977
KDEOS 62 0.12687 0.10912 0.05258 0.03333 0.12977 0.11209 0.72052
KDEOS 67 0.10448 0.08628 0.05398 0.03476 0.11847 0.10056 0.72210
LDF 2 0.08955 0.07105 0.04431 0.02490 0.11921 0.10131 0.63659
LDF 4 0.05224 0.03298 0.05138 0.03211 0.13226 0.11463 0.69447
LDF 5 0.02985 0.01014 0.05072 0.03143 0.12903 0.11134 0.70782
LDF 11 0.00746 -0.01270 0.04788 0.02853 0.13238 0.11475 0.69931
INFLO 2 0.08955 0.07105 0.04609 0.02671 0.11588 0.09792 0.68957
INFLO 4 0.07463 0.05582 0.05088 0.03159 0.15054 0.13328 0.69216
INFLO 6 0.05224 0.03298 0.05276 0.03351 0.13732 0.11980 0.69748
INFLO 8 0.03731 0.01775 0.05181 0.03254 0.14019 0.12272 0.70360
COF 5 0.10448 0.08628 0.05425 0.03503 0.13793 0.12042 0.72411
COF 6 0.09701 0.07867 0.05668 0.03751 0.14365 0.12625 0.72938
COF 10 0.05970 0.04060 0.05535 0.03616 0.14612 0.12877 0.73000
COF 14 0.05970 0.04060 0.05388 0.03466 0.14182 0.12438 0.73264

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 6802 objects, 136 outliers (2.00%)

Download raw algorithm results (58.3 MB) Download raw algorithm evaluation table (71.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.05147 0.03212 0.04075 0.02118 0.09717 0.07875 0.65841
KNNW 1 0.06618 0.04712 0.04418 0.02468 0.11726 0.09925 0.68016
LOF 1 0.06618 0.04712 0.03688 0.01723 0.11165 0.09353 0.59251
LOF 6 0.02206 0.00211 0.05468 0.03540 0.16412 0.14707 0.70275
SimplifiedLOF 1 0.02941 0.00961 0.03294 0.01321 0.08295 0.06424 0.64007
SimplifiedLOF 7 0.02941 0.00961 0.05310 0.03378 0.14815 0.13077 0.73645
SimplifiedLOF 12 0.01471 -0.00540 0.05367 0.03436 0.13680 0.11919 0.73681
SimplifiedLOF 13 0.02206 0.00211 0.05268 0.03335 0.13210 0.11439 0.73896
LoOP 6 0.11765 0.09965 0.06109 0.04193 0.14253 0.12503 0.75008
LoOP 8 0.10294 0.08464 0.06061 0.04145 0.14829 0.13091 0.75106
LoOP 10 0.06618 0.04712 0.06018 0.04101 0.16047 0.14334 0.74456
LDOF 10 0.13235 0.11465 0.07890 0.06011 0.15137 0.13405 0.78762
LDOF 12 0.12500 0.10715 0.08369 0.06499 0.16510 0.14807 0.78610
LDOF 16 0.10294 0.08464 0.07991 0.06114 0.18143 0.16473 0.77522
LDOF 42 0.13971 0.12215 0.06941 0.05042 0.14124 0.12372 0.72745
ODIN 9 0.14267 0.12518 0.07178 0.05284 0.14760 0.13021 0.74781
ODIN 12 0.13792 0.12033 0.07711 0.05828 0.15888 0.14172 0.74661
ODIN 30 0.15026 0.13292 0.06838 0.04938 0.16997 0.15304 0.70149
ODIN 32 0.14330 0.12582 0.06756 0.04853 0.17442 0.15758 0.69553
FastABOD 5 0.05147 0.03212 0.03422 0.01451 0.07229 0.05336 0.62485
FastABOD 6 0.05147 0.03212 0.03454 0.01484 0.07390 0.05501 0.62438
FastABOD 7 0.05882 0.03962 0.03371 0.01400 0.07306 0.05415 0.62270
FastABOD 21 0.05147 0.03212 0.03328 0.01355 0.07987 0.06109 0.60956
KDEOS 15 0.11029 0.09214 0.05732 0.03809 0.11538 0.09734 0.71537
KDEOS 31 0.07353 0.05463 0.05076 0.03139 0.09629 0.07785 0.72469
KDEOS 95 0.09559 0.07714 0.06605 0.04699 0.10375 0.08546 0.70814
LDF 1 0.10294 0.08464 0.03943 0.01983 0.12069 0.10275 0.58432
LDF 3 0.05882 0.03962 0.04793 0.02851 0.14130 0.12379 0.65379
LDF 7 0.01471 -0.00540 0.04267 0.02314 0.11698 0.09897 0.66729
INFLO 1 0.08088 0.06213 0.03801 0.01838 0.11024 0.09208 0.63121
INFLO 4 0.04412 0.02462 0.05008 0.03070 0.12987 0.11212 0.70232
INFLO 7 0.04412 0.02462 0.05109 0.03173 0.15333 0.13606 0.66794
INFLO 10 0.02941 0.00961 0.05348 0.03417 0.14691 0.12951 0.66651
COF 5 0.05147 0.03212 0.05123 0.03188 0.13678 0.11917 0.69966
COF 9 0.06618 0.04712 0.05068 0.03132 0.14719 0.12979 0.70224
COF 10 0.06618 0.04712 0.05073 0.03136 0.14505 0.12761 0.70473

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO