Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Pima (5% of outliers version#10)

The data set contains medical data on diabetes. Patients suffering from diabetes were considered outliers.

Download all data set variants used (694.8 kB). You can also access the original data. (pima-indians-diabetes.data)

Normalized, without duplicates

This version contains 8 attributes, 526 objects, 26 outliers (4.94%)

Download raw algorithm results (4.6 MB) Download raw algorithm evaluation table (49.9 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 2 0.15385 0.10985 0.12170 0.07602 0.19549 0.15365 0.72069
KNN 10 0.11538 0.06938 0.11458 0.06854 0.22099 0.18049 0.74092
KNNW 1 0.11538 0.06938 0.11081 0.06457 0.21978 0.17921 0.67823
KNNW 4 0.15385 0.10985 0.11558 0.06959 0.20202 0.16053 0.71762
KNNW 20 0.15385 0.10985 0.11801 0.07214 0.19588 0.15406 0.73462
KNNW 27 0.11538 0.06938 0.11810 0.07224 0.20101 0.15946 0.73115
LOF 2 0.15385 0.10985 0.08487 0.03728 0.17021 0.12706 0.59408
LOF 65 0.07692 0.02892 0.09867 0.05180 0.21769 0.17701 0.72538
LOF 78 0.07692 0.02892 0.09908 0.05223 0.21739 0.17670 0.72785
LOF 88 0.07692 0.02892 0.10051 0.05374 0.20588 0.16459 0.72669
SimplifiedLOF 5 0.15385 0.10985 0.08008 0.03225 0.16000 0.11632 0.53685
SimplifiedLOF 92 0.07692 0.02892 0.09694 0.04999 0.18792 0.14569 0.71477
SimplifiedLOF 97 0.07692 0.02892 0.10233 0.05566 0.19108 0.14902 0.71446
SimplifiedLOF 98 0.07692 0.02892 0.10199 0.05529 0.19355 0.15161 0.71346
LoOP 4 0.15385 0.10985 0.07782 0.02986 0.16327 0.11976 0.50900
LoOP 87 0.07692 0.02892 0.09723 0.05029 0.19118 0.14912 0.70269
LoOP 95 0.07692 0.02892 0.10243 0.05575 0.18705 0.14478 0.70662
LoOP 98 0.07692 0.02892 0.10467 0.05811 0.18634 0.14402 0.70554
LDOF 2 0.11538 0.06938 0.10350 0.05688 0.12766 0.08230 0.49785
LDOF 86 0.07692 0.02892 0.08606 0.03853 0.18440 0.14199 0.67415
LDOF 91 0.07692 0.02892 0.08674 0.03925 0.18056 0.13794 0.67946
ODIN 10 0.13269 0.08759 0.09112 0.04386 0.13953 0.09479 0.63154
ODIN 15 0.11538 0.06938 0.11317 0.06706 0.16107 0.11745 0.66727
ODIN 30 0.08654 0.03904 0.09773 0.05082 0.21333 0.17243 0.66923
ODIN 78 0.07692 0.02892 0.09194 0.04472 0.18653 0.14423 0.69362
FastABOD 3 0.15385 0.10985 0.15154 0.10742 0.21053 0.16947 0.67962
FastABOD 100 0.15385 0.10985 0.13175 0.08660 0.25743 0.21881 0.75269
KDEOS 4 0.11538 0.06938 0.07915 0.03126 0.12632 0.08088 0.51615
KDEOS 14 0.11538 0.06938 0.07326 0.02507 0.14925 0.10501 0.57262
KDEOS 98 0.07692 0.02892 0.07504 0.02695 0.14286 0.09829 0.65669
LDF 2 0.11538 0.06938 0.10425 0.05767 0.21053 0.16947 0.65062
LDF 3 0.11538 0.06938 0.10366 0.05705 0.26374 0.22545 0.67608
LDF 5 0.11538 0.06938 0.10537 0.05885 0.22727 0.18709 0.70231
LDF 41 0.07692 0.02892 0.10063 0.05386 0.21053 0.16947 0.73369
INFLO 4 0.15385 0.10985 0.08039 0.03257 0.15385 0.10985 0.53962
INFLO 11 0.07692 0.02892 0.09358 0.04645 0.19626 0.15447 0.69677
INFLO 13 0.07692 0.02892 0.09485 0.04778 0.19095 0.14888 0.71300
INFLO 98 0.07692 0.02892 0.10376 0.05715 0.17964 0.13698 0.69485
COF 98 0.15385 0.10985 0.15096 0.10681 0.24138 0.20193 0.77231
COF 99 0.19231 0.15031 0.13881 0.09403 0.22581 0.18555 0.77162

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 8 attributes, 526 objects, 26 outliers (4.94%)

Download raw algorithm results (4.6 MB) Download raw algorithm evaluation table (47.8 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.07692 0.02892 0.08416 0.03654 0.19355 0.15161 0.61281
KNN 6 0.07692 0.02892 0.09295 0.04578 0.21374 0.17285 0.64354
KNN 8 0.07692 0.02892 0.09578 0.04876 0.20896 0.16782 0.65208
KNN 9 0.07692 0.02892 0.09621 0.04921 0.21239 0.17143 0.65012
KNNW 1 0.07692 0.02892 0.09216 0.04495 0.21818 0.17753 0.63850
KNNW 12 0.07692 0.02892 0.09566 0.04864 0.20741 0.16619 0.64946
KNNW 14 0.07692 0.02892 0.09582 0.04880 0.20000 0.15840 0.64908
LOF 4 0.07692 0.02892 0.06391 0.01524 0.13043 0.08522 0.55654
LOF 22 0.03846 -0.01154 0.08375 0.03611 0.21687 0.17614 0.61031
LOF 24 0.03846 -0.01154 0.08322 0.03554 0.22222 0.18178 0.61431
LOF 52 0.03846 -0.01154 0.07545 0.02737 0.18018 0.13755 0.62046
SimplifiedLOF 5 0.07692 0.02892 0.06989 0.02153 0.14433 0.09984 0.58277
SimplifiedLOF 31 0.00000 -0.05200 0.08463 0.03703 0.24000 0.20048 0.61069
SimplifiedLOF 35 0.00000 -0.05200 0.08492 0.03734 0.21918 0.17858 0.61308
SimplifiedLOF 95 0.07692 0.02892 0.07828 0.03035 0.20183 0.16033 0.61538
LoOP 4 0.07692 0.02892 0.07268 0.02445 0.15172 0.10761 0.58846
LoOP 37 0.00000 -0.05200 0.08478 0.03719 0.21053 0.16947 0.60677
LoOP 39 0.00000 -0.05200 0.08416 0.03653 0.21622 0.17546 0.60592
LoOP 96 0.03846 -0.01154 0.07726 0.02928 0.18803 0.14581 0.61754
LDOF 6 0.07692 0.02892 0.08169 0.03394 0.18824 0.14602 0.61754
LDOF 19 0.11538 0.06938 0.08004 0.03220 0.17699 0.13419 0.59308
LDOF 49 0.03846 -0.01154 0.08599 0.03846 0.19355 0.15161 0.60731
LDOF 79 0.07692 0.02892 0.08045 0.03263 0.20619 0.16491 0.59992
ODIN 33 0.07692 0.02892 0.07888 0.03099 0.17978 0.13712 0.59969
ODIN 37 0.09615 0.04915 0.08393 0.03629 0.16807 0.12481 0.61638
ODIN 38 0.07692 0.02892 0.08038 0.03256 0.17544 0.13256 0.61738
ODIN 55 0.12308 0.07748 0.07794 0.02999 0.16000 0.11632 0.60281
FastABOD 4 0.11538 0.06938 0.08972 0.04239 0.18841 0.14620 0.64262
FastABOD 9 0.11538 0.06938 0.09883 0.05197 0.22414 0.18379 0.66023
FastABOD 23 0.11538 0.06938 0.10012 0.05333 0.22951 0.18944 0.65715
FastABOD 28 0.11538 0.06938 0.09891 0.05206 0.23333 0.19347 0.65600
KDEOS 6 0.11538 0.06938 0.09131 0.04406 0.16667 0.12333 0.58323
KDEOS 10 0.03846 -0.01154 0.08434 0.03673 0.19608 0.15427 0.56769
KDEOS 12 0.11538 0.06938 0.09510 0.04805 0.18182 0.13927 0.58477
KDEOS 87 0.03846 -0.01154 0.07150 0.02322 0.15758 0.11377 0.60531
LDF 13 0.11538 0.06938 0.08916 0.04179 0.21176 0.17078 0.60954
LDF 15 0.11538 0.06938 0.09182 0.04459 0.22581 0.18555 0.61062
LDF 16 0.11538 0.06938 0.09197 0.04475 0.22222 0.18178 0.61031
LDF 58 0.03846 -0.01154 0.08037 0.03255 0.19298 0.15102 0.63115
INFLO 11 0.03846 -0.01154 0.08227 0.03454 0.17978 0.13712 0.65462
INFLO 23 0.11538 0.06938 0.07890 0.03100 0.17500 0.13210 0.58623
INFLO 32 0.03846 -0.01154 0.08700 0.03952 0.20800 0.16682 0.61362
INFLO 33 0.03846 -0.01154 0.08474 0.03714 0.20968 0.16858 0.60508
COF 29 0.19231 0.15031 0.09483 0.04776 0.19231 0.15031 0.60977
COF 30 0.19231 0.15031 0.09944 0.05261 0.21277 0.17183 0.61342
COF 64 0.07692 0.02892 0.09456 0.04747 0.17021 0.12706 0.66338
COF 76 0.11538 0.06938 0.10433 0.05776 0.17045 0.12732 0.65858

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO