Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Pima (5% of outliers version#02)

The data set contains medical data on diabetes. Patients suffering from diabetes were considered outliers.

Download all data set variants used (694.8 kB). You can also access the original data. (pima-indians-diabetes.data)

Normalized, without duplicates

This version contains 8 attributes, 526 objects, 26 outliers (4.94%)

Download raw algorithm results (4.6 MB) Download raw algorithm evaluation table (49.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.07692 0.02892 0.09897 0.05211 0.20588 0.16459 0.74873
KNN 6 0.03846 -0.01154 0.09930 0.05246 0.21138 0.17037 0.74062
KNN 12 0.03846 -0.01154 0.09734 0.05040 0.22222 0.18178 0.73604
KNNW 1 0.07692 0.02892 0.08632 0.03881 0.18405 0.14162 0.66904
KNNW 7 0.03846 -0.01154 0.09817 0.05127 0.21277 0.17183 0.74538
KNNW 35 0.00000 -0.05200 0.09695 0.04999 0.21739 0.17670 0.73523
LOF 2 0.11538 0.06938 0.06251 0.01376 0.12766 0.08230 0.52146
LOF 89 0.00000 -0.05200 0.08867 0.04128 0.21622 0.17546 0.71523
LOF 98 0.00000 -0.05200 0.08999 0.04267 0.20690 0.16566 0.71777
SimplifiedLOF 2 0.07692 0.02892 0.05635 0.00728 0.10870 0.06235 0.51631
SimplifiedLOF 98 0.00000 -0.05200 0.08566 0.03811 0.21348 0.17258 0.70777
SimplifiedLOF 99 0.00000 -0.05200 0.08545 0.03789 0.21469 0.17385 0.70692
LoOP 2 0.07692 0.02892 0.05493 0.00579 0.10746 0.06105 0.51738
LoOP 77 0.00000 -0.05200 0.08265 0.03494 0.19540 0.15356 0.70058
LoOP 90 0.00000 -0.05200 0.08302 0.03534 0.20238 0.16090 0.69592
LoOP 98 0.00000 -0.05200 0.08395 0.03631 0.20112 0.15958 0.69715
LDOF 2 0.07692 0.02892 0.05916 0.01023 0.10714 0.06071 0.51377
LDOF 77 0.00000 -0.05200 0.07690 0.02890 0.17352 0.13054 0.67777
LDOF 99 0.00000 -0.05200 0.07612 0.02808 0.18182 0.13927 0.67500
ODIN 4 0.07407 0.02593 0.06424 0.01558 0.12782 0.08247 0.60600
ODIN 67 0.00000 -0.05200 0.08542 0.03786 0.19608 0.15427 0.70877
ODIN 78 0.00000 -0.05200 0.08635 0.03884 0.19858 0.15691 0.70692
FastABOD 3 0.11538 0.06938 0.10211 0.05542 0.19540 0.15356 0.72331
FastABOD 54 0.11538 0.06938 0.10715 0.06072 0.21965 0.17908 0.75277
FastABOD 83 0.11538 0.06938 0.10895 0.06262 0.21714 0.17643 0.75562
FastABOD 99 0.11538 0.06938 0.10904 0.06271 0.21839 0.17775 0.75485
KDEOS 6 0.11538 0.06938 0.08067 0.03287 0.15385 0.10985 0.56054
KDEOS 9 0.07692 0.02892 0.10452 0.05796 0.13077 0.08557 0.59000
KDEOS 14 0.07692 0.02892 0.07402 0.02587 0.17391 0.13096 0.61100
KDEOS 99 0.03846 -0.01154 0.07264 0.02441 0.15854 0.11478 0.66269
LDF 3 0.07692 0.02892 0.07813 0.03020 0.16794 0.12467 0.60092
LDF 5 0.03846 -0.01154 0.08597 0.03844 0.21795 0.17728 0.65738
LDF 23 0.03846 -0.01154 0.08912 0.04176 0.20588 0.16459 0.72315
LDF 96 0.07692 0.02892 0.09392 0.04681 0.19672 0.15495 0.71600
INFLO 4 0.11538 0.06938 0.07289 0.02468 0.16901 0.12580 0.59900
INFLO 62 0.00000 -0.05200 0.08599 0.03846 0.19178 0.14975 0.71908
INFLO 100 0.00000 -0.05200 0.08685 0.03937 0.20126 0.15972 0.71777
COF 68 0.11538 0.06938 0.12150 0.07581 0.26190 0.22352 0.72485
COF 73 0.19231 0.15031 0.11964 0.07387 0.25806 0.21948 0.72846
COF 86 0.15385 0.10985 0.12486 0.07935 0.22222 0.18178 0.73869
COF 100 0.11538 0.06938 0.11793 0.07206 0.23529 0.19553 0.74569

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 8 attributes, 526 objects, 26 outliers (4.94%)

Download raw algorithm results (4.6 MB) Download raw algorithm evaluation table (49.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 8 0.15385 0.10985 0.11429 0.06823 0.22581 0.18555 0.72819
KNN 10 0.15385 0.10985 0.11823 0.07237 0.22047 0.17994 0.73819
KNN 58 0.15385 0.10985 0.11483 0.06880 0.24390 0.20459 0.71654
KNNW 14 0.15385 0.10985 0.10768 0.06128 0.20870 0.16755 0.72169
KNNW 30 0.15385 0.10985 0.11497 0.06895 0.21705 0.17634 0.72985
KNNW 45 0.15385 0.10985 0.11843 0.07259 0.22047 0.17994 0.72715
KNNW 82 0.15385 0.10985 0.11652 0.07058 0.23729 0.19763 0.72008
LOF 68 0.07692 0.02892 0.10421 0.05763 0.21053 0.16947 0.72792
LOF 99 0.11538 0.06938 0.10845 0.06209 0.21053 0.16947 0.72169
LOF 100 0.11538 0.06938 0.10994 0.06366 0.21622 0.17546 0.72246
SimplifiedLOF 73 0.07692 0.02892 0.10105 0.05431 0.21374 0.17285 0.71562
SimplifiedLOF 76 0.07692 0.02892 0.10200 0.05531 0.21875 0.17812 0.72062
SimplifiedLOF 99 0.07692 0.02892 0.10698 0.06055 0.20513 0.16379 0.72677
SimplifiedLOF 100 0.07692 0.02892 0.10693 0.06049 0.20779 0.16660 0.72723
LoOP 44 0.07692 0.02892 0.09011 0.04279 0.19231 0.15031 0.69915
LoOP 66 0.03846 -0.01154 0.10026 0.05347 0.23333 0.19347 0.71092
LoOP 82 0.03846 -0.01154 0.10288 0.05623 0.22400 0.18365 0.71462
LoOP 100 0.07692 0.02892 0.10567 0.05917 0.21505 0.17424 0.71442
LDOF 45 0.15385 0.10985 0.09511 0.04806 0.19277 0.15080 0.70708
LDOF 81 0.15385 0.10985 0.11112 0.06490 0.22034 0.17980 0.73515
LDOF 98 0.15385 0.10985 0.11249 0.06634 0.22727 0.18709 0.73108
LDOF 100 0.15385 0.10985 0.11374 0.06765 0.22727 0.18709 0.73423
ODIN 34 0.03846 -0.01154 0.09461 0.04753 0.20561 0.16430 0.70858
ODIN 41 0.03846 -0.01154 0.09759 0.05066 0.21176 0.17078 0.69988
ODIN 65 0.07692 0.02892 0.09300 0.04584 0.22047 0.17994 0.68908
ODIN 96 0.13348 0.08843 0.09668 0.04970 0.20183 0.16033 0.68627
FastABOD 3 0.15385 0.10985 0.10333 0.05670 0.18605 0.14372 0.68815
FastABOD 79 0.15385 0.10985 0.11764 0.07175 0.22917 0.18908 0.73054
FastABOD 99 0.15385 0.10985 0.11814 0.07228 0.22680 0.18660 0.73154
FastABOD 100 0.15385 0.10985 0.11820 0.07235 0.22680 0.18660 0.73154
KDEOS 3 0.07692 0.02892 0.08632 0.03880 0.14583 0.10142 0.58915
KDEOS 98 0.00000 -0.05200 0.07301 0.02481 0.17021 0.12706 0.67754
KDEOS 100 0.00000 -0.05200 0.07355 0.02538 0.16580 0.12242 0.67885
LDF 43 0.03846 -0.01154 0.10278 0.05613 0.22727 0.18709 0.72269
LDF 53 0.07692 0.02892 0.10734 0.06093 0.21583 0.17505 0.73123
LDF 91 0.15385 0.10985 0.11289 0.06676 0.20619 0.16491 0.72538
LDF 100 0.15385 0.10985 0.11319 0.06708 0.20915 0.16803 0.72246
INFLO 55 0.11538 0.06938 0.10893 0.06259 0.24779 0.20867 0.71915
INFLO 87 0.15385 0.10985 0.11332 0.06722 0.21053 0.16947 0.74515
INFLO 100 0.15385 0.10985 0.12508 0.07959 0.21951 0.17893 0.77908
COF 38 0.15385 0.10985 0.08475 0.03715 0.15873 0.11498 0.68162
COF 61 0.03846 -0.01154 0.09223 0.04502 0.19820 0.15650 0.72485
COF 77 0.03846 -0.01154 0.09918 0.05234 0.23404 0.19421 0.71346
COF 100 0.11538 0.06938 0.10046 0.05368 0.20183 0.16033 0.70338

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO