Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Annthyroid (5% of outliers version#08)

This data set contains medical data on hypothyroidism. Three classes relate to the conditions normal, hyperfunction, and subnormal functioning. Classes other than normal condition were defined as outliers here.

Download all data set variants used (9.9 MB). You can also access the original data. (merge train and test [ann-test.data and ann-train.data])

Normalized, without duplicates

This version contains 21 attributes, 6942 objects, 347 outliers (5.00%)

Download raw algorithm results (60.3 MB) Download raw algorithm evaluation table (75.4 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.08646 0.03839 0.08413 0.03594 0.15425 0.10975 0.66811
KNN 2 0.09222 0.04446 0.08067 0.03229 0.15391 0.10939 0.65609
KNNW 1 0.09942 0.05204 0.08893 0.04100 0.16269 0.11864 0.68251
LOF 3 0.14409 0.09906 0.08802 0.04003 0.17656 0.13324 0.63591
LOF 11 0.10663 0.05962 0.09674 0.04922 0.19720 0.15497 0.69176
LOF 16 0.07205 0.02322 0.08977 0.04187 0.19944 0.15732 0.67927
SimplifiedLOF 3 0.13256 0.08692 0.08835 0.04038 0.17135 0.12775 0.66212
SimplifiedLOF 11 0.10086 0.05356 0.09491 0.04729 0.18539 0.14253 0.70545
SimplifiedLOF 12 0.09510 0.04749 0.09424 0.04658 0.18403 0.14110 0.70620
SimplifiedLOF 25 0.06340 0.01412 0.08998 0.04210 0.18888 0.14620 0.70115
LoOP 5 0.13833 0.09299 0.09425 0.04660 0.17647 0.13314 0.67514
LoOP 12 0.12104 0.07479 0.09875 0.05133 0.18476 0.14186 0.70573
LoOP 17 0.12104 0.07479 0.09767 0.05019 0.18117 0.13808 0.70710
LoOP 36 0.09510 0.04749 0.09281 0.04507 0.19550 0.15317 0.69499
LDOF 17 0.12104 0.07479 0.10524 0.05816 0.18454 0.14163 0.72469
LDOF 24 0.12104 0.07479 0.10659 0.05958 0.18227 0.13925 0.72376
LDOF 28 0.13256 0.08692 0.10629 0.05927 0.18288 0.13988 0.72030
LDOF 47 0.11239 0.06569 0.10167 0.05440 0.18734 0.14458 0.70225
ODIN 13 0.12856 0.08271 0.09876 0.05134 0.17354 0.13005 0.69139
ODIN 19 0.12965 0.08386 0.09664 0.04910 0.16857 0.12483 0.69582
ODIN 24 0.14986 0.10513 0.09785 0.05038 0.17437 0.13093 0.69013
ODIN 80 0.13518 0.08968 0.09291 0.04518 0.17974 0.13658 0.64843
FastABOD 3 0.08357 0.03536 0.07392 0.02520 0.14085 0.09564 0.64730
KDEOS 20 0.13545 0.08996 0.09898 0.05158 0.16353 0.11952 0.69828
KDEOS 25 0.12104 0.07479 0.10230 0.05506 0.16201 0.11791 0.69878
KDEOS 37 0.10663 0.05962 0.09781 0.05035 0.16919 0.12548 0.69973
LDF 6 0.15274 0.10816 0.09908 0.05168 0.19584 0.15353 0.67723
LDF 8 0.14697 0.10209 0.10014 0.05280 0.20346 0.16155 0.67996
INFLO 2 0.12968 0.08389 0.08254 0.03427 0.15542 0.11098 0.62690
INFLO 8 0.10375 0.05659 0.08585 0.03776 0.17584 0.13247 0.65095
INFLO 10 0.11239 0.06569 0.08658 0.03852 0.17826 0.13503 0.64804
INFLO 28 0.06916 0.02019 0.08031 0.03192 0.19068 0.14810 0.62551
COF 2 0.12968 0.08389 0.08064 0.03227 0.14111 0.09592 0.63342
COF 14 0.11816 0.07176 0.09252 0.04477 0.17765 0.13438 0.68560
COF 18 0.12104 0.07479 0.09340 0.04569 0.17870 0.13549 0.67968
COF 20 0.10951 0.06266 0.09242 0.04467 0.18692 0.14413 0.67739

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 7016 objects, 350 outliers (4.99%)

Download raw algorithm results (60.7 MB) Download raw algorithm evaluation table (72.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.10857 0.06177 0.08711 0.03918 0.16734 0.12362 0.66301
KNNW 1 0.12571 0.07981 0.09142 0.04372 0.16713 0.12340 0.66889
LOF 2 0.12000 0.07380 0.07752 0.02908 0.14568 0.10083 0.61134
LOF 10 0.10857 0.06177 0.09628 0.04883 0.19411 0.15179 0.69778
LOF 11 0.11714 0.07079 0.09695 0.04954 0.19330 0.15095 0.69338
LOF 22 0.05714 0.00764 0.09010 0.04233 0.20090 0.15895 0.67699
SimplifiedLOF 10 0.10000 0.05275 0.08856 0.04071 0.16914 0.12551 0.68617
SimplifiedLOF 17 0.07429 0.02568 0.09058 0.04283 0.17218 0.12871 0.69992
SimplifiedLOF 22 0.06286 0.01365 0.09138 0.04368 0.19007 0.14755 0.69923
SimplifiedLOF 28 0.05143 0.00162 0.08973 0.04194 0.19611 0.15390 0.69243
LoOP 13 0.13714 0.09184 0.09646 0.04902 0.17912 0.13602 0.70034
LoOP 19 0.13143 0.08582 0.09838 0.05104 0.18282 0.13991 0.70613
LoOP 22 0.12286 0.07680 0.09856 0.05123 0.18644 0.14372 0.70522
LoOP 34 0.10857 0.06177 0.09516 0.04765 0.19345 0.15110 0.69632
LDOF 29 0.15143 0.10687 0.10743 0.06056 0.18734 0.14467 0.71346
LDOF 31 0.15143 0.10687 0.10778 0.06093 0.19057 0.14807 0.71407
LDOF 32 0.15143 0.10687 0.10834 0.06152 0.18927 0.14670 0.71417
LDOF 34 0.14857 0.10387 0.10796 0.06112 0.18884 0.14625 0.71617
ODIN 15 0.13357 0.08808 0.09535 0.04786 0.16385 0.11995 0.69102
ODIN 20 0.13584 0.09047 0.09430 0.04674 0.16744 0.12373 0.69456
ODIN 24 0.14687 0.10208 0.09394 0.04636 0.17034 0.12678 0.68803
ODIN 29 0.14113 0.09603 0.09446 0.04691 0.17379 0.13041 0.68386
FastABOD 4 0.08286 0.03470 0.07394 0.02531 0.13824 0.09299 0.63625
FastABOD 10 0.09714 0.04974 0.07471 0.02612 0.13439 0.08894 0.62994
FastABOD 58 0.10857 0.06177 0.07240 0.02369 0.13312 0.08760 0.61528
KDEOS 22 0.13714 0.09184 0.09869 0.05136 0.15812 0.11391 0.68718
KDEOS 24 0.12571 0.07981 0.10215 0.05501 0.15722 0.11297 0.68891
KDEOS 33 0.11429 0.06778 0.09642 0.04897 0.16650 0.12274 0.69496
KDEOS 34 0.11429 0.06778 0.09702 0.04961 0.16683 0.12309 0.69423
LDF 6 0.14571 0.10086 0.09356 0.04596 0.18377 0.14091 0.67335
LDF 10 0.15429 0.10988 0.08747 0.03956 0.18756 0.14491 0.65050
INFLO 2 0.12286 0.07680 0.07599 0.02747 0.14722 0.10245 0.60488
INFLO 8 0.11429 0.06778 0.08515 0.03712 0.17099 0.12746 0.64881
INFLO 14 0.12286 0.07680 0.08646 0.03849 0.17635 0.13311 0.64783
INFLO 22 0.08000 0.03170 0.08218 0.03399 0.18856 0.14595 0.62181
COF 14 0.09714 0.04974 0.08925 0.04143 0.17010 0.12652 0.67737
COF 19 0.12286 0.07680 0.09141 0.04370 0.17836 0.13522 0.67254
COF 25 0.11143 0.06477 0.09149 0.04378 0.18132 0.13834 0.67021
COF 27 0.10571 0.05876 0.09131 0.04360 0.18490 0.14211 0.67375

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 6942 objects, 347 outliers (5.00%)

Download raw algorithm results (59.7 MB) Download raw algorithm evaluation table (75.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.08357 0.03536 0.08260 0.03433 0.15633 0.11194 0.66514
KNN 2 0.08934 0.04142 0.08105 0.03270 0.15507 0.11061 0.65570
KNN 3 0.08934 0.04142 0.07924 0.03079 0.15666 0.11229 0.64671
KNNW 1 0.10951 0.06266 0.09020 0.04234 0.17316 0.12965 0.68720
LOF 6 0.15850 0.11423 0.10437 0.05724 0.20726 0.16555 0.69403
LOF 10 0.12680 0.08086 0.10889 0.06200 0.22814 0.18752 0.71300
LOF 11 0.12968 0.08389 0.10861 0.06171 0.23573 0.19552 0.70859
SimplifiedLOF 4 0.12680 0.08086 0.09106 0.04324 0.17234 0.12879 0.67033
SimplifiedLOF 11 0.10375 0.05659 0.10587 0.05883 0.20785 0.16617 0.73353
SimplifiedLOF 25 0.04611 -0.00408 0.09567 0.04809 0.20837 0.16671 0.71287
LoOP 12 0.15274 0.10816 0.11161 0.06487 0.20767 0.16598 0.73343
LoOP 13 0.14697 0.10209 0.11304 0.06637 0.21163 0.17015 0.73639
LoOP 15 0.13545 0.08996 0.11234 0.06564 0.21412 0.17277 0.73595
LDOF 17 0.17003 0.12636 0.12698 0.08105 0.21127 0.16977 0.76257
LDOF 20 0.16715 0.12333 0.13085 0.08512 0.21395 0.17260 0.76788
LDOF 23 0.17003 0.12636 0.13153 0.08584 0.21186 0.17040 0.76176
LDOF 24 0.16138 0.11726 0.13140 0.08570 0.21626 0.17502 0.75820
ODIN 13 0.16341 0.11939 0.11992 0.07361 0.20095 0.15891 0.72460
ODIN 17 0.17022 0.12656 0.12075 0.07449 0.20779 0.16611 0.72310
ODIN 25 0.18101 0.13792 0.11662 0.07014 0.21084 0.16932 0.70629
ODIN 35 0.16859 0.12484 0.11169 0.06495 0.21994 0.17890 0.68794
FastABOD 4 0.08934 0.04142 0.07199 0.02316 0.13775 0.09238 0.63162
FastABOD 6 0.08357 0.03536 0.07276 0.02397 0.14325 0.09817 0.63207
KDEOS 28 0.14121 0.09602 0.11971 0.07339 0.18622 0.14340 0.72078
KDEOS 30 0.14121 0.09602 0.12108 0.07483 0.18815 0.14544 0.72004
KDEOS 47 0.15274 0.10816 0.11576 0.06924 0.17655 0.13322 0.70848
LDF 6 0.18444 0.14153 0.10903 0.06215 0.22305 0.18217 0.68851
LDF 9 0.16138 0.11726 0.10448 0.05736 0.22569 0.18495 0.67866
INFLO 3 0.14697 0.10209 0.08127 0.03293 0.15582 0.11141 0.61680
INFLO 12 0.12392 0.07782 0.09703 0.04952 0.20986 0.16828 0.66708
INFLO 15 0.12104 0.07479 0.09488 0.04726 0.22118 0.18020 0.65209
COF 4 0.13545 0.08996 0.09139 0.04359 0.17573 0.13236 0.65394
COF 12 0.12392 0.07782 0.10295 0.05575 0.19622 0.15392 0.70930
COF 14 0.11527 0.06872 0.10495 0.05785 0.21062 0.16908 0.70662
COF 16 0.11816 0.07176 0.10392 0.05678 0.21441 0.17308 0.70189

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 7016 objects, 350 outliers (4.99%)

Download raw algorithm results (60.2 MB) Download raw algorithm evaluation table (72.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.12571 0.07981 0.08890 0.04107 0.15940 0.11526 0.66753
KNN 2 0.11143 0.06477 0.08424 0.03616 0.16117 0.11713 0.65599
KNNW 1 0.13143 0.08582 0.09428 0.04672 0.17063 0.12709 0.67637
LOF 6 0.14857 0.10387 0.10298 0.05588 0.20287 0.16101 0.69095
LOF 10 0.14000 0.09485 0.10824 0.06142 0.22835 0.18783 0.70593
LOF 12 0.12571 0.07981 0.10435 0.05732 0.23132 0.19096 0.69669
SimplifiedLOF 9 0.12571 0.07981 0.10203 0.05488 0.20060 0.15862 0.71734
SimplifiedLOF 12 0.10286 0.05575 0.10352 0.05645 0.21046 0.16900 0.71995
SimplifiedLOF 16 0.08000 0.03170 0.10064 0.05342 0.21207 0.17070 0.72036
SimplifiedLOF 18 0.07714 0.02869 0.09958 0.05231 0.21280 0.17147 0.71816
LoOP 15 0.13714 0.09184 0.11076 0.06407 0.21283 0.17150 0.72422
LoOP 16 0.14571 0.10086 0.11055 0.06385 0.21626 0.17511 0.72507
LoOP 24 0.15714 0.11289 0.10880 0.06200 0.21116 0.16974 0.71549
LoOP 26 0.14571 0.10086 0.10764 0.06079 0.21793 0.17686 0.71211
LDOF 16 0.16571 0.12191 0.12280 0.07674 0.20714 0.16551 0.75116
LDOF 30 0.16857 0.12492 0.13052 0.08487 0.22406 0.18332 0.73946
LDOF 32 0.18286 0.13995 0.13138 0.08578 0.22222 0.18138 0.73671
ODIN 18 0.15534 0.11099 0.10786 0.06102 0.18740 0.14473 0.70420
ODIN 25 0.16339 0.11947 0.10890 0.06211 0.19058 0.14808 0.69544
ODIN 43 0.17940 0.13631 0.10627 0.05934 0.20102 0.15906 0.67172
ODIN 49 0.17040 0.12684 0.10408 0.05704 0.20399 0.16220 0.66947
FastABOD 5 0.09143 0.04372 0.07384 0.02521 0.13606 0.09070 0.62631
FastABOD 7 0.09429 0.04673 0.07431 0.02571 0.13601 0.09065 0.62548
FastABOD 9 0.09429 0.04673 0.07389 0.02527 0.13648 0.09114 0.62353
FastABOD 100 0.10857 0.06177 0.07237 0.02366 0.13429 0.08884 0.60728
KDEOS 26 0.13143 0.08582 0.10396 0.05691 0.18027 0.13723 0.71070
KDEOS 28 0.12286 0.07680 0.10464 0.05762 0.18682 0.14412 0.71068
KDEOS 65 0.14000 0.09485 0.10620 0.05927 0.16927 0.12565 0.68881
KDEOS 66 0.14286 0.09785 0.10506 0.05807 0.16801 0.12432 0.68796
LDF 5 0.16000 0.11590 0.09979 0.05253 0.19468 0.15239 0.67977
LDF 6 0.19143 0.14897 0.10322 0.05614 0.20431 0.16254 0.67223
LDF 9 0.18000 0.13695 0.10130 0.05411 0.21363 0.17234 0.67287
INFLO 8 0.14286 0.09785 0.09256 0.04491 0.20063 0.15866 0.65647
INFLO 12 0.12571 0.07981 0.09301 0.04538 0.20541 0.16369 0.65082
INFLO 16 0.11429 0.06778 0.09228 0.04462 0.21254 0.17120 0.64666
COF 14 0.13429 0.08883 0.10338 0.05631 0.21014 0.16867 0.69260
COF 15 0.13714 0.09184 0.10316 0.05608 0.21442 0.17318 0.69062
COF 21 0.16286 0.11890 0.09930 0.05201 0.19390 0.15158 0.68139

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO