Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Annthyroid (5% of outliers version#07)

This data set contains medical data on hypothyroidism. Three classes relate to the conditions normal, hyperfunction, and subnormal functioning. Classes other than normal condition were defined as outliers here.

Download all data set variants used (9.9 MB). You can also access the original data. (merge train and test [ann-test.data and ann-train.data])

Normalized, without duplicates

This version contains 21 attributes, 6942 objects, 347 outliers (5.00%)

Download raw algorithm results (60.3 MB) Download raw algorithm evaluation table (75.2 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.10086 0.05356 0.08409 0.03590 0.16314 0.11911 0.65107
KNNW 1 0.12104 0.07479 0.08832 0.04036 0.15845 0.11417 0.66620
LOF 3 0.14409 0.09906 0.08565 0.03754 0.17517 0.13177 0.62029
LOF 10 0.10375 0.05659 0.09690 0.04938 0.18889 0.14621 0.70105
LOF 11 0.10951 0.06266 0.09713 0.04963 0.19340 0.15096 0.69513
LOF 17 0.05476 0.00502 0.08996 0.04207 0.20271 0.16076 0.68324
SimplifiedLOF 3 0.11527 0.06872 0.08306 0.03482 0.17184 0.12827 0.63697
SimplifiedLOF 12 0.09222 0.04446 0.09379 0.04611 0.17984 0.13669 0.70416
SimplifiedLOF 13 0.09222 0.04446 0.09357 0.04587 0.17886 0.13566 0.70558
SimplifiedLOF 28 0.05476 0.00502 0.08884 0.04090 0.19106 0.14850 0.69584
LoOP 12 0.13256 0.08692 0.09748 0.04999 0.17874 0.13553 0.70505
LoOP 17 0.12680 0.08086 0.09777 0.05030 0.18007 0.13693 0.70902
LoOP 36 0.09510 0.04749 0.09251 0.04476 0.19438 0.15199 0.69515
LDOF 27 0.13833 0.09299 0.11017 0.06335 0.18609 0.14326 0.72083
LDOF 29 0.13833 0.09299 0.10997 0.06314 0.19154 0.14901 0.71956
LDOF 38 0.14697 0.10209 0.10606 0.05903 0.18525 0.14238 0.71214
ODIN 16 0.12671 0.08076 0.09842 0.05098 0.17015 0.12648 0.69893
ODIN 18 0.13545 0.08996 0.09773 0.05026 0.16789 0.12411 0.70119
ODIN 25 0.13395 0.08838 0.09600 0.04843 0.17276 0.12924 0.68692
ODIN 35 0.14148 0.09631 0.09400 0.04633 0.16365 0.11964 0.67755
FastABOD 3 0.08069 0.03232 0.07229 0.02347 0.13416 0.08861 0.62748
FastABOD 4 0.08357 0.03536 0.07253 0.02373 0.13312 0.08751 0.62772
FastABOD 27 0.09222 0.04446 0.06987 0.02093 0.12833 0.08247 0.60605
KDEOS 32 0.12680 0.08086 0.09496 0.04734 0.17293 0.12941 0.69811
KDEOS 37 0.11239 0.06569 0.09617 0.04861 0.16736 0.12355 0.70198
KDEOS 42 0.13256 0.08692 0.09728 0.04978 0.16009 0.11590 0.69797
KDEOS 44 0.13833 0.09299 0.09497 0.04735 0.15738 0.11304 0.69605
LDF 5 0.14697 0.10209 0.09805 0.05059 0.19668 0.15442 0.68216
LDF 6 0.14986 0.10513 0.09872 0.05130 0.20524 0.16342 0.68011
LDF 11 0.15850 0.11423 0.09297 0.04525 0.20043 0.15836 0.66359
INFLO 2 0.13545 0.08996 0.07972 0.03129 0.15375 0.10922 0.61528
INFLO 8 0.11527 0.06872 0.08433 0.03615 0.17239 0.12885 0.64875
INFLO 14 0.12392 0.07782 0.08590 0.03780 0.17778 0.13452 0.64617
INFLO 26 0.06628 0.01715 0.07995 0.03154 0.18703 0.14425 0.61958
COF 6 0.11816 0.07176 0.08370 0.03549 0.15660 0.11223 0.65586
COF 13 0.09798 0.05052 0.09258 0.04484 0.17292 0.12940 0.68932
COF 17 0.11527 0.06872 0.09282 0.04509 0.18951 0.14687 0.67806
COF 18 0.10951 0.06266 0.09283 0.04510 0.18924 0.14658 0.67505

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 7016 objects, 350 outliers (4.99%)

Download raw algorithm results (60.8 MB) Download raw algorithm evaluation table (72.5 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.10286 0.05575 0.08375 0.03564 0.15552 0.11118 0.66067
KNNW 1 0.12000 0.07380 0.08968 0.04188 0.15726 0.11301 0.67560
LOF 3 0.13429 0.08883 0.08257 0.03440 0.16224 0.11826 0.62178
LOF 10 0.10857 0.06177 0.09323 0.04562 0.18755 0.14489 0.68386
LOF 11 0.11143 0.06477 0.09400 0.04643 0.18931 0.14675 0.68252
LOF 12 0.10571 0.05876 0.09334 0.04574 0.19103 0.14855 0.68127
SimplifiedLOF 7 0.10857 0.06177 0.08440 0.03633 0.16201 0.11801 0.66492
SimplifiedLOF 12 0.08000 0.03170 0.08902 0.04119 0.17309 0.12967 0.68833
SimplifiedLOF 14 0.08857 0.04072 0.08855 0.04070 0.17122 0.12770 0.69004
SimplifiedLOF 28 0.05143 0.00162 0.08649 0.03852 0.18116 0.13817 0.68115
LoOP 5 0.13143 0.08582 0.08681 0.03887 0.16383 0.11993 0.65494
LoOP 20 0.11714 0.07079 0.09522 0.04771 0.17768 0.13451 0.69476
LoOP 35 0.10000 0.05275 0.09141 0.04371 0.18740 0.14473 0.68450
LDOF 24 0.13143 0.08582 0.10543 0.05846 0.18498 0.14218 0.70582
LDOF 27 0.13143 0.08582 0.10614 0.05921 0.18034 0.13730 0.70548
LDOF 29 0.13714 0.09184 0.10571 0.05875 0.17985 0.13679 0.70596
LDOF 35 0.14857 0.10387 0.10548 0.05851 0.18029 0.13725 0.70417
ODIN 6 0.13612 0.09076 0.08773 0.03984 0.15510 0.11074 0.65955
ODIN 15 0.12250 0.07643 0.09505 0.04753 0.16848 0.12482 0.68214
ODIN 17 0.12643 0.08056 0.09554 0.04805 0.17238 0.12892 0.68193
ODIN 81 0.12105 0.07490 0.08819 0.04032 0.17411 0.13074 0.63677
FastABOD 4 0.08571 0.03771 0.07406 0.02544 0.13659 0.09126 0.63850
FastABOD 5 0.09429 0.04673 0.07366 0.02502 0.13581 0.09043 0.63504
FastABOD 6 0.09429 0.04673 0.07429 0.02569 0.13548 0.09009 0.63522
KDEOS 28 0.14000 0.09485 0.10195 0.05480 0.16157 0.11755 0.68424
KDEOS 33 0.12000 0.07380 0.09820 0.05086 0.16623 0.12245 0.68514
LDF 6 0.12000 0.07380 0.09185 0.04417 0.18641 0.14369 0.66756
LDF 10 0.14857 0.10387 0.08807 0.04019 0.19579 0.15357 0.64739
LDF 11 0.15429 0.10988 0.08661 0.03866 0.18824 0.14561 0.64478
INFLO 13 0.11143 0.06477 0.08525 0.03722 0.17687 0.13365 0.64109
INFLO 14 0.12286 0.07680 0.08422 0.03613 0.17410 0.13073 0.63465
INFLO 31 0.06286 0.01365 0.07824 0.02984 0.18626 0.14353 0.61115
COF 14 0.10571 0.05876 0.08801 0.04013 0.16568 0.12187 0.67640
COF 16 0.11714 0.07079 0.08943 0.04162 0.18033 0.13729 0.67474
COF 21 0.12857 0.08282 0.08693 0.03898 0.17365 0.13027 0.66200
COF 27 0.11714 0.07079 0.08718 0.03925 0.18756 0.14490 0.65849

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 6942 objects, 347 outliers (5.00%)

Download raw algorithm results (59.7 MB) Download raw algorithm evaluation table (75.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.10375 0.05659 0.08275 0.03449 0.15072 0.10604 0.65242
KNN 2 0.09798 0.05052 0.08030 0.03191 0.15545 0.11102 0.64276
KNNW 1 0.12104 0.07479 0.08902 0.04109 0.16314 0.11911 0.67184
LOF 4 0.14697 0.10209 0.09390 0.04623 0.19100 0.14843 0.66087
LOF 10 0.13833 0.09299 0.10554 0.05847 0.22798 0.18736 0.70194
LOF 12 0.13545 0.08996 0.10202 0.05477 0.23156 0.19113 0.68811
SimplifiedLOF 6 0.12392 0.07782 0.09742 0.04993 0.18906 0.14639 0.70718
SimplifiedLOF 10 0.10951 0.06266 0.10287 0.05566 0.20114 0.15911 0.72626
SimplifiedLOF 11 0.10663 0.05962 0.10259 0.05537 0.21496 0.17366 0.72533
LoOP 12 0.14697 0.10209 0.10798 0.06105 0.20133 0.15930 0.72602
LoOP 14 0.15274 0.10816 0.10712 0.06014 0.20269 0.16074 0.72250
LoOP 19 0.13833 0.09299 0.10698 0.06000 0.21336 0.17197 0.71579
LDOF 20 0.17579 0.13243 0.12519 0.07917 0.20474 0.16290 0.75198
LDOF 21 0.17291 0.12939 0.12589 0.07990 0.20846 0.16681 0.75238
LDOF 23 0.16427 0.12029 0.12677 0.08082 0.20964 0.16806 0.74939
LDOF 38 0.15850 0.11423 0.12180 0.07560 0.22032 0.17930 0.72392
ODIN 9 0.14657 0.10167 0.10376 0.05660 0.18418 0.14125 0.70108
ODIN 14 0.16287 0.11882 0.10945 0.06259 0.18769 0.14495 0.69726
ODIN 30 0.17254 0.12900 0.10488 0.05779 0.17885 0.13564 0.67644
FastABOD 3 0.08646 0.03839 0.06933 0.02036 0.12783 0.08194 0.61223
FastABOD 5 0.08646 0.03839 0.07023 0.02131 0.12821 0.08234 0.61163
FastABOD 6 0.08357 0.03536 0.06975 0.02080 0.12853 0.08267 0.60931
KDEOS 26 0.10951 0.06266 0.10580 0.05875 0.17235 0.12880 0.71309
KDEOS 28 0.12104 0.07479 0.10747 0.06051 0.18034 0.13721 0.71305
KDEOS 29 0.11816 0.07176 0.10751 0.06055 0.17800 0.13475 0.71178
KDEOS 43 0.14697 0.10209 0.10240 0.05518 0.17054 0.12690 0.69641
LDF 4 0.17291 0.12939 0.10193 0.05468 0.19472 0.15235 0.67473
LDF 6 0.18732 0.14456 0.10478 0.05768 0.21991 0.17886 0.66912
INFLO 8 0.13256 0.08692 0.09220 0.04443 0.18791 0.14518 0.66272
INFLO 10 0.13545 0.08996 0.09270 0.04496 0.20015 0.15806 0.65218
INFLO 15 0.12104 0.07479 0.08847 0.04051 0.21198 0.17052 0.62778
COF 10 0.14986 0.10513 0.09900 0.05159 0.19252 0.15004 0.69269
COF 12 0.14121 0.09602 0.09905 0.05164 0.19013 0.14752 0.69546
COF 13 0.13545 0.08996 0.09939 0.05200 0.19524 0.15290 0.69357
COF 16 0.12680 0.08086 0.09884 0.05142 0.21404 0.17268 0.68472

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 7016 objects, 350 outliers (4.99%)

Download raw algorithm results (60.2 MB) Download raw algorithm evaluation table (72.5 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.10571 0.05876 0.08281 0.03465 0.14949 0.10483 0.66306
KNN 2 0.10571 0.05876 0.08032 0.03203 0.15054 0.10594 0.65212
KNNW 1 0.12000 0.07380 0.08921 0.04139 0.16855 0.12490 0.67914
LOF 8 0.15714 0.11289 0.10463 0.05762 0.21140 0.16999 0.69255
LOF 10 0.13714 0.09184 0.10363 0.05657 0.21270 0.17136 0.69782
LOF 11 0.13429 0.08883 0.10215 0.05501 0.21705 0.17595 0.69060
SimplifiedLOF 9 0.12571 0.07981 0.09911 0.05181 0.19188 0.14945 0.70757
SimplifiedLOF 10 0.12000 0.07380 0.10000 0.05274 0.19388 0.15155 0.70919
SimplifiedLOF 12 0.11429 0.06778 0.09923 0.05193 0.19384 0.15152 0.70943
SimplifiedLOF 24 0.05429 0.00463 0.09290 0.04527 0.20373 0.16192 0.70020
LoOP 9 0.15714 0.11289 0.10562 0.05866 0.19167 0.14923 0.70897
LoOP 12 0.15429 0.10988 0.10720 0.06032 0.19745 0.15531 0.71588
LoOP 29 0.12000 0.07380 0.09946 0.05218 0.21036 0.16890 0.69347
LDOF 20 0.17714 0.13394 0.12529 0.07936 0.20462 0.16286 0.73905
LDOF 23 0.18857 0.14597 0.12557 0.07965 0.21045 0.16899 0.73705
LDOF 24 0.18000 0.13695 0.12592 0.08002 0.21310 0.17179 0.73530
LDOF 35 0.16000 0.11590 0.12436 0.07839 0.21920 0.17821 0.72493
ODIN 13 0.16816 0.12449 0.11141 0.06475 0.20317 0.16133 0.69740
ODIN 14 0.17080 0.12727 0.11174 0.06510 0.20477 0.16302 0.69360
ODIN 25 0.17989 0.13683 0.10803 0.06120 0.18294 0.14003 0.68528
FastABOD 4 0.09429 0.04673 0.07286 0.02418 0.13361 0.08812 0.63041
FastABOD 5 0.09429 0.04673 0.07184 0.02311 0.13577 0.09040 0.62891
FastABOD 6 0.10000 0.05275 0.07211 0.02339 0.13503 0.08962 0.62875
KDEOS 24 0.14571 0.10086 0.10751 0.06065 0.16801 0.12433 0.70032
KDEOS 25 0.12857 0.08282 0.10732 0.06045 0.17193 0.12845 0.70156
KDEOS 26 0.13429 0.08883 0.10828 0.06146 0.17300 0.12958 0.70148
KDEOS 31 0.11143 0.06477 0.10259 0.05547 0.17801 0.13485 0.70060
LDF 7 0.16857 0.12492 0.10025 0.05301 0.19975 0.15774 0.67893
LDF 8 0.18000 0.13695 0.10256 0.05544 0.21307 0.17175 0.67870
INFLO 8 0.14571 0.10086 0.09414 0.04658 0.19558 0.15334 0.66294
INFLO 19 0.09714 0.04974 0.08442 0.03635 0.20763 0.16603 0.62080
COF 11 0.14571 0.10086 0.09808 0.05072 0.19166 0.14922 0.68285
COF 12 0.14571 0.10086 0.09853 0.05120 0.19360 0.15126 0.68429
COF 13 0.13429 0.08883 0.09755 0.05017 0.19011 0.14759 0.68474
COF 15 0.13143 0.08582 0.09677 0.04935 0.19773 0.15560 0.68047

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO