Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Pima (5% of outliers version#07)

The data set contains medical data on diabetes. Patients suffering from diabetes were considered outliers.

Download all data set variants used (694.8 kB). You can also access the original data. (pima-indians-diabetes.data)

Normalized, without duplicates

This version contains 8 attributes, 526 objects, 26 outliers (4.94%)

Download raw algorithm results (4.6 MB) Download raw algorithm evaluation table (47.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.15385 0.10985 0.10349 0.05687 0.18333 0.14087 0.66554
KNN 15 0.11538 0.06938 0.12422 0.07868 0.25352 0.21470 0.70992
KNN 54 0.11538 0.06938 0.13387 0.08883 0.23077 0.19077 0.73015
KNN 99 0.11538 0.06938 0.12637 0.08094 0.20833 0.16717 0.73608
KNNW 2 0.15385 0.10985 0.10060 0.05383 0.18557 0.14322 0.67162
KNNW 30 0.15385 0.10985 0.12248 0.07685 0.24000 0.20048 0.71046
KNNW 76 0.11538 0.06938 0.13037 0.08514 0.23684 0.19716 0.72300
KNNW 100 0.11538 0.06938 0.13005 0.08482 0.23377 0.19392 0.72523
LOF 78 0.23077 0.19077 0.11371 0.06762 0.23077 0.19077 0.71754
LOF 96 0.23077 0.19077 0.12176 0.07609 0.25000 0.21100 0.73000
LOF 100 0.23077 0.19077 0.12093 0.07522 0.24000 0.20048 0.73315
SimplifiedLOF 28 0.19231 0.15031 0.09197 0.04475 0.19608 0.15427 0.60285
SimplifiedLOF 43 0.11538 0.06938 0.08743 0.03998 0.22222 0.18178 0.60392
SimplifiedLOF 98 0.19231 0.15031 0.10025 0.05346 0.22222 0.18178 0.66938
SimplifiedLOF 99 0.19231 0.15031 0.10025 0.05346 0.21429 0.17343 0.67146
LoOP 28 0.19231 0.15031 0.09112 0.04386 0.20000 0.15840 0.60038
LoOP 79 0.15385 0.10985 0.10051 0.05374 0.21429 0.17343 0.63331
LoOP 100 0.15385 0.10985 0.09916 0.05231 0.21429 0.17343 0.66442
LDOF 4 0.11538 0.06938 0.09084 0.04356 0.20339 0.16197 0.65308
LDOF 27 0.19231 0.15031 0.10133 0.05460 0.19608 0.15427 0.61308
LDOF 55 0.15385 0.10985 0.10674 0.06029 0.21622 0.17546 0.62215
LDOF 65 0.15385 0.10985 0.10291 0.05626 0.23881 0.19922 0.62238
ODIN 47 0.11538 0.06938 0.09147 0.04423 0.20588 0.16459 0.64000
ODIN 97 0.18462 0.14222 0.11042 0.06416 0.19718 0.15544 0.70219
ODIN 100 0.17308 0.13008 0.11090 0.06466 0.20000 0.15840 0.70500
FastABOD 33 0.19231 0.15031 0.15118 0.10704 0.26471 0.22647 0.72885
FastABOD 37 0.19231 0.15031 0.15640 0.11253 0.25974 0.22125 0.72992
FastABOD 87 0.23077 0.19077 0.14946 0.10523 0.25000 0.21100 0.73431
FastABOD 95 0.23077 0.19077 0.15092 0.10677 0.25000 0.21100 0.73554
KDEOS 2 0.07692 0.02892 0.07308 0.02488 0.15873 0.11498 0.53950
KDEOS 99 0.03846 -0.01154 0.05961 0.01071 0.12621 0.08078 0.56431
LDF 55 0.23077 0.19077 0.11404 0.06796 0.23077 0.19077 0.71254
LDF 94 0.19231 0.15031 0.12277 0.07715 0.26087 0.22243 0.73800
LDF 98 0.19231 0.15031 0.12450 0.07898 0.26087 0.22243 0.73962
LDF 100 0.19231 0.15031 0.12341 0.07783 0.26087 0.22243 0.74046
INFLO 76 0.19231 0.15031 0.11046 0.06420 0.20339 0.16197 0.68923
INFLO 91 0.19231 0.15031 0.10992 0.06364 0.21875 0.17812 0.69608
INFLO 98 0.19231 0.15031 0.11356 0.06747 0.21212 0.17115 0.70308
INFLO 100 0.19231 0.15031 0.11262 0.06647 0.21212 0.17115 0.70369
COF 100 0.23077 0.19077 0.13210 0.08697 0.24490 0.20563 0.72023

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 8 attributes, 526 objects, 26 outliers (4.94%)

Download raw algorithm results (4.6 MB) Download raw algorithm evaluation table (47.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.19231 0.15031 0.12125 0.07556 0.22727 0.18709 0.57681
KNN 7 0.19231 0.15031 0.12572 0.08026 0.23333 0.19347 0.58454
KNN 16 0.19231 0.15031 0.13918 0.09442 0.23256 0.19265 0.62362
KNN 53 0.19231 0.15031 0.12819 0.08286 0.21277 0.17183 0.63569
KNNW 1 0.23077 0.19077 0.11529 0.06929 0.26087 0.22243 0.60365
KNNW 44 0.19231 0.15031 0.12943 0.08416 0.21739 0.17670 0.61369
KNNW 97 0.19231 0.15031 0.12678 0.08137 0.21277 0.17183 0.62477
LOF 20 0.15385 0.10985 0.10221 0.05553 0.23333 0.19347 0.65462
LOF 92 0.19231 0.15031 0.13769 0.09285 0.22222 0.18178 0.69908
LOF 94 0.23077 0.19077 0.13785 0.09301 0.23077 0.19077 0.69762
LOF 95 0.23077 0.19077 0.13788 0.09304 0.23077 0.19077 0.69692
SimplifiedLOF 21 0.19231 0.15031 0.08555 0.03800 0.20408 0.16269 0.58708
SimplifiedLOF 48 0.15385 0.10985 0.12232 0.07668 0.22727 0.18709 0.63308
SimplifiedLOF 94 0.15385 0.10985 0.13299 0.08790 0.22222 0.18178 0.65792
SimplifiedLOF 100 0.19231 0.15031 0.13282 0.08773 0.21538 0.17458 0.66246
LoOP 29 0.19231 0.15031 0.08776 0.04033 0.20588 0.16459 0.60838
LoOP 53 0.19231 0.15031 0.11298 0.06686 0.22727 0.18709 0.62285
LoOP 93 0.15385 0.10985 0.13092 0.08573 0.20833 0.16717 0.65669
LoOP 100 0.15385 0.10985 0.13056 0.08535 0.20202 0.16053 0.66162
LDOF 57 0.19231 0.15031 0.11421 0.06815 0.20000 0.15840 0.64369
LDOF 69 0.19231 0.15031 0.12453 0.07900 0.23529 0.19553 0.65338
LDOF 93 0.15385 0.10985 0.13452 0.08951 0.22857 0.18846 0.66185
LDOF 98 0.15385 0.10985 0.13391 0.08888 0.21333 0.17243 0.66762
ODIN 60 0.16346 0.11996 0.10322 0.05658 0.22951 0.18944 0.67531
ODIN 73 0.15385 0.10985 0.10536 0.05884 0.21429 0.17343 0.67873
ODIN 75 0.19231 0.15031 0.10264 0.05598 0.19512 0.15327 0.68050
ODIN 80 0.19231 0.15031 0.10206 0.05537 0.19820 0.15650 0.68331
FastABOD 3 0.23077 0.19077 0.14596 0.10155 0.26667 0.22853 0.61269
FastABOD 100 0.19231 0.15031 0.13642 0.09152 0.22222 0.18178 0.63646
KDEOS 3 0.07692 0.02892 0.06856 0.02013 0.14194 0.09732 0.58862
KDEOS 5 0.07692 0.02892 0.09691 0.04995 0.11429 0.06823 0.50246
KDEOS 100 0.03846 -0.01154 0.07191 0.02365 0.16541 0.12202 0.60177
LDF 15 0.23077 0.19077 0.11526 0.06925 0.26415 0.22589 0.65185
LDF 18 0.23077 0.19077 0.13215 0.08703 0.23729 0.19763 0.70208
LDF 75 0.19231 0.15031 0.13841 0.09361 0.22642 0.18619 0.69531
INFLO 42 0.19231 0.15031 0.11520 0.06919 0.19469 0.15281 0.65015
INFLO 77 0.15385 0.10985 0.14159 0.09695 0.20253 0.16106 0.73746
INFLO 98 0.15385 0.10985 0.14512 0.10067 0.22222 0.18178 0.73100
COF 36 0.11538 0.06938 0.09549 0.04845 0.22951 0.18944 0.65035
COF 39 0.19231 0.15031 0.09664 0.04967 0.21053 0.16947 0.64469
COF 99 0.15385 0.10985 0.12027 0.07452 0.20513 0.16379 0.70327
COF 100 0.15385 0.10985 0.11956 0.07378 0.20779 0.16660 0.70631

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO