Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

HeartDisease (10% of outliers version#01)

A data set containing medical data on heart problems. Affected patients are considered outliers and healthy people are considered inliers.

Download all data set variants used (92.9 kB). You can also access the original data. (heart.dat)

Normalized, without duplicates

This version contains 13 attributes, 166 objects, 16 outliers (9.64%)

Download raw algorithm results (1.4 MB) Download raw algorithm evaluation table (45.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 16 0.25000 0.17000 0.24886 0.16874 0.39394 0.32929 0.79458
KNN 17 0.18750 0.10083 0.23740 0.15606 0.41270 0.35005 0.78958
KNN 20 0.31250 0.23917 0.26099 0.18216 0.39394 0.32929 0.78500
KNN 67 0.31250 0.23917 0.32937 0.25784 0.34921 0.27979 0.77417
KNNW 23 0.25000 0.17000 0.22995 0.14782 0.37288 0.30599 0.77167
KNNW 30 0.25000 0.17000 0.23911 0.15794 0.40000 0.33600 0.77875
KNNW 31 0.25000 0.17000 0.24124 0.16031 0.39344 0.32874 0.78042
KNNW 99 0.25000 0.17000 0.26776 0.18965 0.35616 0.28749 0.77708
LOF 49 0.31250 0.23917 0.22531 0.14267 0.34667 0.27698 0.77292
LOF 76 0.25000 0.17000 0.28283 0.20633 0.36620 0.29859 0.78542
LOF 91 0.25000 0.17000 0.30145 0.22694 0.38889 0.32370 0.78458
SimplifiedLOF 84 0.12500 0.03167 0.18969 0.10326 0.32911 0.25755 0.72750
SimplifiedLOF 91 0.18750 0.10083 0.20257 0.11751 0.32500 0.25300 0.73833
SimplifiedLOF 94 0.18750 0.10083 0.20789 0.12340 0.32500 0.25300 0.74333
SimplifiedLOF 100 0.18750 0.10083 0.20858 0.12416 0.32500 0.25300 0.74292
LoOP 82 0.12500 0.03167 0.20044 0.11516 0.32500 0.25300 0.71833
LoOP 84 0.18750 0.10083 0.20207 0.11696 0.32500 0.25300 0.73396
LoOP 99 0.18750 0.10083 0.21948 0.13623 0.32099 0.24856 0.72958
LDOF 73 0.18750 0.10083 0.15560 0.06553 0.27957 0.20272 0.67750
LDOF 94 0.12500 0.03167 0.18824 0.10165 0.29885 0.22406 0.71917
LDOF 95 0.12500 0.03167 0.18604 0.09922 0.30303 0.22869 0.71708
LDOF 100 0.18750 0.10083 0.19550 0.10969 0.30233 0.22791 0.71875
ODIN 74 0.31250 0.23917 0.21921 0.13592 0.31250 0.23917 0.74042
ODIN 81 0.25000 0.17000 0.23923 0.15808 0.32558 0.25364 0.75542
ODIN 98 0.29167 0.21611 0.26162 0.18286 0.39024 0.32520 0.75208
ODIN 100 0.25000 0.17000 0.27066 0.19286 0.37209 0.30512 0.75271
FastABOD 35 0.31250 0.23917 0.30847 0.23471 0.40816 0.34503 0.80042
FastABOD 51 0.37500 0.30833 0.32548 0.25353 0.37500 0.30833 0.80625
FastABOD 98 0.37500 0.30833 0.34542 0.27560 0.39216 0.32732 0.81750
KDEOS 3 0.18750 0.10083 0.11276 0.01812 0.20690 0.12230 0.46125
KDEOS 94 0.12500 0.03167 0.14244 0.05097 0.28889 0.21304 0.67750
KDEOS 100 0.06250 -0.03750 0.14175 0.05020 0.28889 0.21304 0.68083
LDF 34 0.43750 0.37750 0.32394 0.25183 0.43750 0.37750 0.81583
LDF 41 0.37500 0.30833 0.39668 0.33232 0.38889 0.32370 0.82833
LDF 70 0.37500 0.30833 0.44606 0.38697 0.42857 0.36762 0.81958
INFLO 67 0.25000 0.17000 0.20392 0.11901 0.35714 0.28857 0.73583
INFLO 78 0.18750 0.10083 0.24667 0.16632 0.37975 0.31359 0.78563
INFLO 100 0.18750 0.10083 0.30483 0.23068 0.43750 0.37750 0.77875
COF 57 0.37500 0.30833 0.47306 0.41685 0.50000 0.44667 0.85042
COF 86 0.43750 0.37750 0.50799 0.45550 0.46154 0.40410 0.85417

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 13 attributes, 166 objects, 16 outliers (9.64%)

Download raw algorithm results (1.4 MB) Download raw algorithm evaluation table (43.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.25000 0.17000 0.16002 0.07043 0.26667 0.18844 0.63604
KNN 7 0.18750 0.10083 0.16016 0.07058 0.28571 0.20952 0.66792
KNN 10 0.25000 0.17000 0.16077 0.07125 0.28125 0.20458 0.66354
KNN 45 0.12500 0.03167 0.15804 0.06823 0.31579 0.24281 0.65438
KNNW 2 0.18750 0.10083 0.15515 0.06503 0.27451 0.19712 0.64125
KNNW 3 0.18750 0.10083 0.16138 0.07193 0.27119 0.19345 0.64333
KNNW 6 0.25000 0.17000 0.15421 0.06399 0.25806 0.17892 0.63333
KNNW 58 0.25000 0.17000 0.15542 0.06533 0.25397 0.17439 0.65708
LOF 9 0.18750 0.10083 0.13300 0.04052 0.25641 0.17709 0.58583
LOF 18 0.06250 -0.03750 0.14776 0.05685 0.26316 0.18456 0.66792
LOF 57 0.12500 0.03167 0.15327 0.06296 0.30000 0.22533 0.64000
LOF 67 0.12500 0.03167 0.15470 0.06454 0.29268 0.21724 0.63583
SimplifiedLOF 9 0.12500 0.03167 0.12221 0.02858 0.26316 0.18456 0.53083
SimplifiedLOF 59 0.25000 0.17000 0.14648 0.05544 0.25000 0.17000 0.64250
SimplifiedLOF 68 0.25000 0.17000 0.14941 0.05868 0.25000 0.17000 0.64958
LoOP 66 0.25000 0.17000 0.14362 0.05227 0.25000 0.17000 0.63500
LoOP 67 0.25000 0.17000 0.14445 0.05319 0.25000 0.17000 0.63625
LoOP 95 0.18750 0.10083 0.13985 0.04810 0.26667 0.18844 0.61208
LDOF 44 0.18750 0.10083 0.13803 0.04608 0.26415 0.18566 0.63250
LDOF 56 0.25000 0.17000 0.14156 0.04999 0.25225 0.17249 0.62708
LDOF 68 0.25000 0.17000 0.14728 0.05632 0.25532 0.17589 0.64042
ODIN 45 0.12500 0.03167 0.13144 0.03879 0.25455 0.17503 0.62562
ODIN 78 0.20000 0.11467 0.14755 0.05663 0.27907 0.20217 0.61250
ODIN 91 0.18750 0.10083 0.15241 0.06200 0.29268 0.21724 0.61813
ODIN 92 0.18750 0.10083 0.15417 0.06395 0.29268 0.21724 0.61813
FastABOD 4 0.18750 0.10083 0.17348 0.08532 0.29167 0.21611 0.66917
KDEOS 2 0.12500 0.03167 0.12139 0.02767 0.21739 0.13391 0.55812
KDEOS 5 0.12500 0.03167 0.16281 0.07351 0.19403 0.10806 0.51375
KDEOS 96 0.06250 -0.03750 0.12723 0.03414 0.23256 0.15070 0.61208
KDEOS 100 0.06250 -0.03750 0.12766 0.03461 0.22989 0.14774 0.61667
LDF 8 0.25000 0.17000 0.15617 0.06616 0.27586 0.19862 0.61208
LDF 11 0.18750 0.10083 0.16670 0.07781 0.31373 0.24052 0.64375
LDF 12 0.18750 0.10083 0.16480 0.07571 0.32000 0.24747 0.64167
LDF 27 0.18750 0.10083 0.16258 0.07325 0.27397 0.19653 0.67833
INFLO 49 0.18750 0.10083 0.17144 0.08306 0.35556 0.28681 0.73417
INFLO 50 0.18750 0.10083 0.16997 0.08143 0.35165 0.28249 0.73458
INFLO 55 0.25000 0.17000 0.17302 0.08481 0.35294 0.28392 0.70958
COF 9 0.31250 0.23917 0.16365 0.07444 0.32258 0.25032 0.60000
COF 29 0.18750 0.10083 0.17937 0.09183 0.34921 0.27979 0.68750
COF 53 0.25000 0.17000 0.22015 0.13697 0.30769 0.23385 0.66583
COF 76 0.25000 0.17000 0.19268 0.10657 0.30508 0.23096 0.71542

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO