Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Pima (10% of outliers version#04)

The data set contains medical data on diabetes. Patients suffering from diabetes were considered outliers.

Download all data set variants used (694.8 kB). You can also access the original data. (pima-indians-diabetes.data)

Normalized, without duplicates

This version contains 8 attributes, 555 objects, 55 outliers (9.91%)

Download raw algorithm results (4.9 MB) Download raw algorithm evaluation table (54.0 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.18182 0.09182 0.19476 0.10618 0.30827 0.23218 0.73818
KNNW 1 0.25455 0.17255 0.18085 0.09075 0.28837 0.21009 0.71287
KNNW 2 0.20000 0.11200 0.19490 0.10634 0.30769 0.23154 0.73415
KNNW 3 0.21818 0.13218 0.19285 0.10406 0.30830 0.23221 0.73295
LOF 2 0.18182 0.09182 0.14982 0.05630 0.21622 0.13000 0.56858
LOF 79 0.10909 0.01109 0.15819 0.06559 0.27344 0.19352 0.67909
LOF 99 0.12727 0.03127 0.16238 0.07024 0.27234 0.19230 0.68487
LOF 100 0.12727 0.03127 0.16230 0.07015 0.27234 0.19230 0.68542
SimplifiedLOF 4 0.16364 0.07164 0.13440 0.03918 0.21721 0.13111 0.59833
SimplifiedLOF 98 0.07273 -0.02927 0.14167 0.04726 0.24413 0.16099 0.63658
SimplifiedLOF 100 0.09091 -0.00909 0.14238 0.04804 0.23963 0.15599 0.63778
LoOP 7 0.16364 0.07164 0.11851 0.02154 0.20903 0.12202 0.56505
LoOP 91 0.07273 -0.02927 0.13773 0.04288 0.23474 0.15056 0.62009
LoOP 97 0.07273 -0.02927 0.13600 0.04096 0.23529 0.15118 0.61931
LoOP 100 0.07273 -0.02927 0.13715 0.04223 0.23350 0.14919 0.62709
LDOF 2 0.18182 0.09182 0.15900 0.06649 0.21145 0.12471 0.55640
LDOF 3 0.16364 0.07164 0.12652 0.03043 0.23602 0.15199 0.56444
LDOF 4 0.16364 0.07164 0.15371 0.06061 0.23596 0.15191 0.61073
ODIN 9 0.17686 0.08631 0.13532 0.04021 0.21466 0.12827 0.58722
ODIN 80 0.08636 -0.01414 0.13904 0.04434 0.25410 0.17205 0.64169
ODIN 87 0.09091 -0.00909 0.14403 0.04987 0.24615 0.16323 0.64758
ODIN 97 0.08727 -0.01313 0.13848 0.04371 0.24060 0.15707 0.64885
FastABOD 38 0.21818 0.13218 0.22203 0.13645 0.36129 0.29103 0.76676
FastABOD 40 0.23636 0.15236 0.22220 0.13664 0.36129 0.29103 0.76629
FastABOD 62 0.21818 0.13218 0.22430 0.13898 0.36943 0.30006 0.76473
FastABOD 94 0.23636 0.15236 0.22759 0.14262 0.36478 0.29491 0.76527
KDEOS 5 0.18182 0.09182 0.12905 0.03324 0.22069 0.13497 0.59098
KDEOS 11 0.16364 0.07164 0.13370 0.03841 0.20737 0.12018 0.57138
LDF 2 0.20000 0.11200 0.14163 0.04721 0.21782 0.13178 0.57931
LDF 91 0.16364 0.07164 0.17122 0.08005 0.30270 0.22600 0.70287
LDF 99 0.16364 0.07164 0.17263 0.08162 0.28692 0.20848 0.70407
LDF 100 0.16364 0.07164 0.17266 0.08166 0.28821 0.20991 0.70385
INFLO 3 0.16364 0.07164 0.13495 0.03979 0.23306 0.14870 0.58735
INFLO 80 0.07273 -0.02927 0.15060 0.05717 0.28490 0.20624 0.64527
INFLO 98 0.07273 -0.02927 0.15037 0.05691 0.29226 0.21441 0.66218
COF 80 0.27273 0.19273 0.21688 0.13074 0.32051 0.24577 0.72109
COF 100 0.25455 0.17255 0.22440 0.13909 0.33654 0.26356 0.74044

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 8 attributes, 555 objects, 55 outliers (9.91%)

Download raw algorithm results (4.8 MB) Download raw algorithm evaluation table (54.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.20000 0.11200 0.17756 0.08709 0.29508 0.21754 0.69393
KNN 9 0.27273 0.19273 0.18584 0.09628 0.29915 0.22205 0.69180
KNN 11 0.27273 0.19273 0.18857 0.09931 0.30126 0.22439 0.68993
KNN 78 0.18182 0.09182 0.17987 0.08965 0.31579 0.24053 0.68418
KNNW 14 0.20000 0.11200 0.18403 0.09427 0.29310 0.21534 0.69385
KNNW 21 0.23636 0.15236 0.18539 0.09578 0.29752 0.22025 0.69204
KNNW 98 0.18182 0.09182 0.18131 0.09125 0.30233 0.22558 0.68651
LOF 76 0.20000 0.11200 0.16841 0.07694 0.28729 0.20890 0.69778
LOF 98 0.20000 0.11200 0.17380 0.08292 0.29630 0.21889 0.70713
LOF 99 0.20000 0.11200 0.17394 0.08307 0.29893 0.22181 0.70691
LOF 100 0.20000 0.11200 0.17430 0.08348 0.29508 0.21754 0.70680
SimplifiedLOF 28 0.18182 0.09182 0.13141 0.03587 0.21860 0.13265 0.60222
SimplifiedLOF 100 0.16364 0.07164 0.15579 0.06293 0.26744 0.18686 0.65382
LoOP 30 0.20000 0.11200 0.12888 0.03306 0.22466 0.13937 0.59607
LoOP 100 0.14545 0.05145 0.15048 0.05703 0.26347 0.18246 0.64015
LDOF 57 0.20000 0.11200 0.14154 0.04711 0.22672 0.14166 0.61771
LDOF 100 0.16364 0.07164 0.15371 0.06061 0.26490 0.18404 0.64287
ODIN 38 0.18182 0.09182 0.13864 0.04389 0.24460 0.16151 0.61816
ODIN 90 0.12121 0.02455 0.14470 0.05061 0.27473 0.19495 0.62798
ODIN 99 0.12727 0.03127 0.14897 0.05536 0.26016 0.17878 0.64002
ODIN 100 0.12727 0.03127 0.14856 0.05490 0.25989 0.17847 0.64053
FastABOD 35 0.23636 0.15236 0.19983 0.11181 0.31579 0.24053 0.71775
FastABOD 96 0.23636 0.15236 0.20585 0.11850 0.32749 0.25351 0.72327
FastABOD 98 0.23636 0.15236 0.20588 0.11852 0.32749 0.25351 0.72313
FastABOD 99 0.23636 0.15236 0.20572 0.11835 0.32941 0.25565 0.72309
KDEOS 3 0.14545 0.05145 0.12234 0.02579 0.21277 0.12617 0.55567
KDEOS 5 0.07273 -0.02927 0.13298 0.03761 0.19873 0.11059 0.51124
KDEOS 91 0.07273 -0.02927 0.12182 0.02522 0.23899 0.15528 0.59815
KDEOS 100 0.09091 -0.00909 0.12650 0.03042 0.23053 0.14589 0.60600
LDF 80 0.20000 0.11200 0.18040 0.09024 0.30597 0.22963 0.71615
LDF 96 0.21818 0.13218 0.18418 0.09444 0.31405 0.23860 0.71385
LDF 100 0.21818 0.13218 0.18445 0.09474 0.31799 0.24297 0.71313
INFLO 30 0.20000 0.11200 0.14385 0.04968 0.28669 0.20823 0.62029
INFLO 93 0.12727 0.03127 0.16778 0.07623 0.33708 0.26416 0.67273
INFLO 100 0.16364 0.07164 0.17049 0.07924 0.32967 0.25593 0.68002
COF 38 0.23636 0.15236 0.17194 0.08085 0.27888 0.19956 0.67887
COF 75 0.20000 0.11200 0.17860 0.08824 0.31220 0.23654 0.70405
COF 97 0.21818 0.13218 0.18401 0.09425 0.29358 0.21587 0.71742
COF 100 0.21818 0.13218 0.18555 0.09596 0.29075 0.21273 0.71635

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO