Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Pima (5% of outliers version#08)

The data set contains medical data on diabetes. Patients suffering from diabetes were considered outliers.

Download all data set variants used (694.8 kB). You can also access the original data. (pima-indians-diabetes.data)

Normalized, without duplicates

This version contains 8 attributes, 526 objects, 26 outliers (4.94%)

Download raw algorithm results (4.6 MB) Download raw algorithm evaluation table (48.1 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.11538 0.06938 0.13060 0.08539 0.22360 0.18323 0.75965
KNN 9 0.15385 0.10985 0.12459 0.07907 0.20388 0.16249 0.75381
KNN 97 0.07692 0.02892 0.11468 0.06864 0.20438 0.16301 0.76715
KNNW 1 0.11538 0.06938 0.13514 0.09017 0.25000 0.21100 0.73581
KNNW 2 0.15385 0.10985 0.13051 0.08530 0.21277 0.17183 0.75038
KNNW 100 0.11538 0.06938 0.11769 0.07181 0.20690 0.16566 0.76323
LOF 1 0.23077 0.19077 0.15949 0.11579 0.23529 0.19553 0.64912
LOF 99 0.07692 0.02892 0.09775 0.05084 0.18803 0.14581 0.74108
SimplifiedLOF 2 0.23077 0.19077 0.14593 0.10152 0.26415 0.22589 0.69877
SimplifiedLOF 3 0.15385 0.10985 0.13255 0.08744 0.20952 0.16842 0.70700
LoOP 2 0.26923 0.23123 0.15065 0.10648 0.28070 0.24330 0.70246
LoOP 3 0.19231 0.15031 0.14164 0.09701 0.23729 0.19763 0.70992
LDOF 4 0.26923 0.23123 0.15287 0.10882 0.32258 0.28735 0.72323
ODIN 9 0.16758 0.12430 0.09152 0.04428 0.17021 0.12706 0.62200
ODIN 10 0.15385 0.10985 0.10459 0.05803 0.18182 0.13927 0.63404
ODIN 100 0.07692 0.02892 0.08609 0.03857 0.17910 0.13642 0.69504
FastABOD 3 0.15385 0.10985 0.12471 0.07919 0.21891 0.17829 0.75308
FastABOD 22 0.15385 0.10985 0.14546 0.10102 0.26000 0.22152 0.77723
FastABOD 58 0.15385 0.10985 0.15359 0.10958 0.23762 0.19798 0.78438
FastABOD 96 0.11538 0.06938 0.14285 0.09828 0.23077 0.19077 0.78677
KDEOS 4 0.07692 0.02892 0.08751 0.04006 0.19753 0.15580 0.67792
KDEOS 9 0.11538 0.06938 0.11653 0.07058 0.14286 0.09829 0.64685
KDEOS 70 0.15385 0.10985 0.07529 0.02721 0.16949 0.12631 0.60262
LDF 1 0.19231 0.15031 0.15653 0.11267 0.22535 0.18507 0.65888
LDF 99 0.11538 0.06938 0.10759 0.06119 0.20588 0.16459 0.76531
INFLO 2 0.19231 0.15031 0.13242 0.08731 0.23881 0.19922 0.69477
INFLO 3 0.23077 0.19077 0.11763 0.07175 0.23077 0.19077 0.68385
INFLO 4 0.23077 0.19077 0.11351 0.06741 0.25926 0.22074 0.68869
INFLO 100 0.07692 0.02892 0.08844 0.04104 0.17886 0.13616 0.71315
COF 2 0.19231 0.15031 0.17544 0.13256 0.31707 0.28156 0.70350
COF 25 0.23077 0.19077 0.11442 0.06837 0.24000 0.20048 0.65808
COF 99 0.19231 0.15031 0.13190 0.08676 0.20408 0.16269 0.73062

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 8 attributes, 526 objects, 26 outliers (4.94%)

Download raw algorithm results (4.6 MB) Download raw algorithm evaluation table (49.2 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.11538 0.06938 0.08138 0.03361 0.14706 0.10271 0.60296
KNN 38 0.07692 0.02892 0.09025 0.04294 0.22222 0.18178 0.65992
KNN 41 0.07692 0.02892 0.09044 0.04314 0.21429 0.17343 0.66123
KNN 48 0.07692 0.02892 0.09015 0.04284 0.20690 0.16566 0.66431
KNNW 1 0.15385 0.10985 0.08332 0.03565 0.17241 0.12938 0.58054
KNNW 43 0.07692 0.02892 0.08861 0.04122 0.20779 0.16660 0.65615
KNNW 55 0.07692 0.02892 0.08953 0.04219 0.20513 0.16379 0.65862
KNNW 64 0.07692 0.02892 0.08891 0.04153 0.19512 0.15327 0.65885
LOF 44 0.11538 0.06938 0.09892 0.05207 0.20382 0.16242 0.69285
LOF 58 0.11538 0.06938 0.10178 0.05507 0.21583 0.17505 0.70223
LOF 87 0.03846 -0.01154 0.09975 0.05293 0.23333 0.19347 0.69692
SimplifiedLOF 1 0.11538 0.06938 0.07346 0.02528 0.13333 0.08827 0.56442
SimplifiedLOF 4 0.11538 0.06938 0.11216 0.06599 0.13333 0.08827 0.52315
SimplifiedLOF 99 0.07692 0.02892 0.09541 0.04837 0.22047 0.17994 0.67938
SimplifiedLOF 100 0.07692 0.02892 0.09565 0.04863 0.22222 0.18178 0.67938
LoOP 1 0.11538 0.06938 0.07300 0.02479 0.13333 0.08827 0.55896
LoOP 4 0.11538 0.06938 0.11446 0.06841 0.14286 0.09829 0.53938
LoOP 100 0.07692 0.02892 0.09432 0.04723 0.20635 0.16508 0.68746
LDOF 5 0.15385 0.10985 0.14191 0.09729 0.18182 0.13927 0.60638
LDOF 6 0.15385 0.10985 0.15204 0.10794 0.17391 0.13096 0.57023
LDOF 97 0.07692 0.02892 0.09536 0.04832 0.21239 0.17143 0.67585
LDOF 99 0.07692 0.02892 0.09581 0.04879 0.21053 0.16947 0.67731
ODIN 87 0.14904 0.10479 0.10456 0.05800 0.22581 0.18555 0.68154
ODIN 98 0.16026 0.11659 0.10363 0.05702 0.21250 0.17155 0.68569
ODIN 100 0.16026 0.11659 0.10395 0.05735 0.21277 0.17183 0.68650
FastABOD 4 0.15385 0.10985 0.09403 0.04692 0.17021 0.12706 0.64269
FastABOD 100 0.07692 0.02892 0.08572 0.03818 0.16842 0.12518 0.65531
KDEOS 10 0.07692 0.02892 0.12123 0.07553 0.13793 0.09310 0.53346
KDEOS 14 0.11538 0.06938 0.10230 0.05562 0.13793 0.09310 0.53508
KDEOS 16 0.11538 0.06938 0.06845 0.02001 0.14815 0.10385 0.52808
KDEOS 100 0.03846 -0.01154 0.06753 0.01905 0.14286 0.09829 0.60946
LDF 17 0.15385 0.10985 0.09114 0.04388 0.17544 0.13256 0.63831
LDF 20 0.11538 0.06938 0.11013 0.06385 0.21333 0.17243 0.69731
LDF 55 0.11538 0.06938 0.10512 0.05858 0.23529 0.19553 0.70969
LDF 64 0.07692 0.02892 0.10373 0.05713 0.23729 0.19763 0.70662
INFLO 1 0.11538 0.06938 0.07137 0.02308 0.13636 0.09145 0.52458
INFLO 3 0.11538 0.06938 0.11811 0.07225 0.13636 0.09145 0.58562
INFLO 83 0.07692 0.02892 0.09903 0.05218 0.22901 0.18892 0.70031
INFLO 93 0.07692 0.02892 0.09834 0.05145 0.24793 0.20883 0.69162
COF 59 0.15385 0.10985 0.10216 0.05547 0.18605 0.14372 0.70108
COF 74 0.11538 0.06938 0.11255 0.06641 0.19718 0.15544 0.70477
COF 96 0.11538 0.06938 0.10840 0.06204 0.21951 0.17893 0.72700
COF 97 0.11538 0.06938 0.10733 0.06091 0.22667 0.18645 0.72523

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO