Supplementary Material for
On the Evaluation of Unsupervised Outlier Detection: Measures, Datasets, and an Empirical Study
by G. O. Campos, A. Zimek, J. Sander, R. J. G. B. Campello, B. Micenková, E. Schubert, I. Assent and M. E. Houle
Data Mining and Knowledge Discovery 30(4): 891-927, 2016, DOI: 10.1007/s10618-015-0444-8

Cardiotocography (10% of outliers version#09)

Data set related to heart diseases. It describes 3 classes: normal, suspect, or pathological. Normal patients are treated as inliers and the remaining as outliers.

Download all data set variants used (8.8 MB). You can also access the original data. (CTG.xls)

Normalized, without duplicates

This version contains 21 attributes, 1831 objects, 183 outliers (9.99%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (71.6 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 95 0.33880 0.26538 0.32036 0.24489 0.35047 0.27834 0.70886
KNN 98 0.33880 0.26538 0.32127 0.24590 0.35325 0.28143 0.71005
KNN 100 0.33880 0.26538 0.32152 0.24618 0.34987 0.27768 0.71007
KNNW 89 0.32787 0.25323 0.28924 0.21031 0.33871 0.26528 0.68477
KNNW 93 0.33333 0.25930 0.29005 0.21121 0.33690 0.26327 0.68609
KNNW 100 0.33333 0.25930 0.29183 0.21319 0.33613 0.26242 0.68792
LOF 89 0.29508 0.21681 0.25070 0.16749 0.32630 0.25149 0.73658
LOF 93 0.29508 0.21681 0.25276 0.16978 0.33193 0.25775 0.73840
LOF 100 0.28415 0.20466 0.25771 0.17528 0.33066 0.25633 0.74168
SimplifiedLOF 9 0.30055 0.22288 0.26205 0.18011 0.31220 0.23582 0.63256
SimplifiedLOF 10 0.32787 0.25323 0.26084 0.17876 0.33241 0.25828 0.63319
SimplifiedLOF 11 0.32787 0.25323 0.25428 0.17148 0.33245 0.25833 0.63323
SimplifiedLOF 100 0.27322 0.19252 0.23291 0.14773 0.30799 0.23115 0.70314
LoOP 9 0.30055 0.22288 0.22793 0.14219 0.31053 0.23396 0.62538
LoOP 10 0.30055 0.22288 0.22949 0.14393 0.31884 0.24320 0.62606
LoOP 100 0.27322 0.19252 0.22176 0.13534 0.30739 0.23047 0.68840
LDOF 13 0.28962 0.21073 0.20859 0.12071 0.29041 0.21162 0.60754
LDOF 19 0.25137 0.16824 0.20870 0.12083 0.29004 0.21121 0.61310
LDOF 97 0.25137 0.16824 0.19871 0.10973 0.29741 0.21940 0.65170
LDOF 100 0.24590 0.16216 0.19988 0.11103 0.29175 0.21311 0.65325
ODIN 88 0.23292 0.14774 0.20414 0.11576 0.29577 0.21757 0.69919
ODIN 97 0.22951 0.14395 0.21114 0.12354 0.30746 0.23056 0.70692
ODIN 100 0.22560 0.13961 0.21344 0.12609 0.30508 0.22792 0.70893
FastABOD 12 0.28415 0.20466 0.21537 0.12825 0.28649 0.20726 0.65878
FastABOD 57 0.27322 0.19252 0.21868 0.13192 0.30576 0.22867 0.67362
FastABOD 100 0.26776 0.18645 0.22391 0.13773 0.29703 0.21897 0.68078
KDEOS 81 0.19126 0.10145 0.14951 0.05506 0.23826 0.15367 0.62254
KDEOS 99 0.19126 0.10145 0.15566 0.06191 0.24510 0.16127 0.63482
KDEOS 100 0.18579 0.09538 0.15423 0.06032 0.24787 0.16435 0.63518
LDF 95 0.33880 0.26538 0.33380 0.25982 0.36422 0.29362 0.73984
LDF 99 0.34426 0.27145 0.33876 0.26534 0.36364 0.29297 0.74060
LDF 100 0.33880 0.26538 0.34144 0.26831 0.36246 0.29166 0.74101
INFLO 96 0.28415 0.20466 0.23221 0.14696 0.32083 0.24542 0.72099
INFLO 99 0.28415 0.20466 0.23565 0.15077 0.32599 0.25115 0.72702
COF 12 0.30601 0.22895 0.26753 0.18619 0.31267 0.23634 0.63527
COF 16 0.26776 0.18645 0.27210 0.19127 0.30116 0.22356 0.65975
COF 51 0.29508 0.21681 0.26077 0.17868 0.31715 0.24133 0.65114
COF 79 0.24044 0.15609 0.25881 0.17650 0.27451 0.19395 0.66946

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Normalized, duplicates

This version contains 21 attributes, 1838 objects, 183 outliers (9.96%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (72.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 97 0.36066 0.28996 0.34428 0.27177 0.37500 0.30589 0.72701
KNN 98 0.37158 0.30210 0.34488 0.27244 0.37427 0.30508 0.72729
KNN 100 0.37158 0.30210 0.34537 0.27299 0.37419 0.30500 0.72707
KNNW 14 0.36066 0.28996 0.25321 0.17064 0.36164 0.29106 0.65681
KNNW 100 0.34973 0.27782 0.31039 0.23414 0.37113 0.30160 0.70849
LOF 47 0.30055 0.22321 0.20578 0.11796 0.32962 0.25549 0.71661
LOF 100 0.28415 0.20500 0.23579 0.15128 0.34009 0.26713 0.74466
SimplifiedLOF 54 0.25137 0.16859 0.19703 0.10824 0.32000 0.24481 0.68989
SimplifiedLOF 64 0.28962 0.21107 0.19797 0.10928 0.31111 0.23494 0.69285
SimplifiedLOF 100 0.28415 0.20500 0.20950 0.12209 0.31513 0.23940 0.70992
LoOP 100 0.27322 0.19286 0.19939 0.11086 0.31423 0.23840 0.69461
LDOF 83 0.26230 0.18072 0.18891 0.09923 0.31862 0.24327 0.66738
LDOF 98 0.25137 0.16859 0.19518 0.10618 0.32823 0.25395 0.67705
LDOF 100 0.25683 0.17466 0.19665 0.10782 0.32671 0.25226 0.67763
ODIN 100 0.22951 0.14431 0.19935 0.11082 0.31029 0.23403 0.71026
FastABOD 15 0.25683 0.17466 0.18067 0.09007 0.25780 0.17573 0.64367
FastABOD 60 0.24590 0.16252 0.19237 0.10306 0.28640 0.20749 0.65153
FastABOD 100 0.25683 0.17466 0.19745 0.10871 0.28037 0.20080 0.65562
KDEOS 15 0.18033 0.08969 0.13975 0.04463 0.22888 0.14362 0.57931
KDEOS 92 0.15301 0.05935 0.14449 0.04989 0.23555 0.15102 0.62944
KDEOS 100 0.16393 0.07149 0.14946 0.05541 0.23429 0.14962 0.63625
LDF 100 0.36612 0.29603 0.32753 0.25318 0.38650 0.31867 0.74450
INFLO 79 0.26776 0.18679 0.19513 0.10613 0.29720 0.21949 0.69542
INFLO 96 0.26230 0.18072 0.20694 0.11925 0.32465 0.24997 0.70761
INFLO 99 0.26230 0.18072 0.20938 0.12196 0.31809 0.24269 0.71067
INFLO 100 0.26776 0.18679 0.21043 0.12312 0.31967 0.24445 0.70981
COF 37 0.26230 0.18072 0.19965 0.11115 0.29176 0.21345 0.63314
COF 40 0.28415 0.20500 0.20454 0.11658 0.28883 0.21019 0.63589
COF 85 0.22404 0.13824 0.22475 0.13903 0.26667 0.18558 0.65613
COF 98 0.20219 0.11397 0.20990 0.12254 0.25954 0.17767 0.65842

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, without duplicates

This version contains 21 attributes, 1831 objects, 183 outliers (9.99%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (71.3 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 1 0.25683 0.17431 0.23443 0.14941 0.27539 0.19492 0.71309
KNN 67 0.31694 0.24109 0.21292 0.12552 0.32151 0.24617 0.70074
KNN 100 0.30055 0.22288 0.21562 0.12851 0.33248 0.25836 0.70426
KNNW 2 0.26230 0.18038 0.24472 0.16085 0.28996 0.21112 0.72766
KNNW 98 0.28415 0.20466 0.20855 0.12066 0.31724 0.24143 0.69990
LOF 8 0.28415 0.20466 0.26381 0.18206 0.29421 0.21584 0.67516
LOF 10 0.30055 0.22288 0.26219 0.18026 0.31339 0.23715 0.67828
LOF 97 0.26230 0.18038 0.22666 0.14078 0.36863 0.29852 0.74404
LOF 100 0.26230 0.18038 0.22752 0.14174 0.36791 0.29772 0.74536
SimplifiedLOF 12 0.30055 0.22288 0.27354 0.19287 0.32589 0.25104 0.68467
SimplifiedLOF 15 0.32240 0.24716 0.26888 0.18770 0.32418 0.24913 0.68808
SimplifiedLOF 98 0.26230 0.18038 0.21428 0.12703 0.34095 0.26777 0.71468
SimplifiedLOF 99 0.26230 0.18038 0.21418 0.12693 0.34215 0.26910 0.71465
LoOP 12 0.28415 0.20466 0.25346 0.17056 0.31164 0.23520 0.66522
LoOP 17 0.30601 0.22895 0.23819 0.15359 0.31556 0.23955 0.67847
LoOP 81 0.25137 0.16824 0.21381 0.12651 0.33846 0.26500 0.69869
LoOP 92 0.25683 0.17431 0.21380 0.12649 0.34351 0.27061 0.69632
LDOF 18 0.29508 0.21681 0.24017 0.15579 0.30270 0.22527 0.63159
LDOF 21 0.31148 0.23502 0.22556 0.13956 0.32190 0.24660 0.62460
LDOF 97 0.24590 0.16216 0.21439 0.12715 0.33696 0.26333 0.70254
LDOF 98 0.25137 0.16824 0.21442 0.12718 0.33333 0.25930 0.70286
ODIN 81 0.27322 0.19252 0.23062 0.14519 0.34064 0.26742 0.69780
ODIN 97 0.25832 0.17596 0.23532 0.15040 0.34518 0.27246 0.70598
ODIN 100 0.25215 0.16910 0.23590 0.15106 0.34237 0.26935 0.70756
FastABOD 4 0.28415 0.20466 0.24170 0.15749 0.30583 0.22874 0.73695
KDEOS 99 0.18033 0.08931 0.18692 0.09663 0.28363 0.20408 0.69617
KDEOS 100 0.19126 0.10145 0.18627 0.09591 0.28452 0.20507 0.69622
LDF 8 0.30055 0.22288 0.31307 0.23679 0.35130 0.27927 0.72141
LDF 97 0.31148 0.23502 0.23264 0.14743 0.32570 0.25082 0.75584
LDF 100 0.30601 0.22895 0.23405 0.14900 0.33010 0.25571 0.75767
INFLO 9 0.30601 0.22895 0.26304 0.18120 0.31638 0.24047 0.66955
INFLO 12 0.31694 0.24109 0.24263 0.15853 0.31978 0.24425 0.65368
INFLO 77 0.24044 0.15609 0.21239 0.12493 0.33939 0.26604 0.70538
INFLO 98 0.25683 0.17431 0.21615 0.12911 0.33610 0.26238 0.71491
COF 62 0.28962 0.21073 0.24534 0.16154 0.32273 0.24752 0.68762
COF 69 0.29508 0.21681 0.23519 0.15026 0.34979 0.27759 0.69417
COF 100 0.27869 0.19859 0.21566 0.12856 0.30732 0.23040 0.70978

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO

Not normalized, duplicates

This version contains 21 attributes, 1838 objects, 183 outliers (9.96%)

Download raw algorithm results (15.9 MB) Download raw algorithm evaluation table (72.7 kB)

Best Parameters

The following table contains the best (overall and per-method) results for each method and evaluation measure (when the same score was achieved twice, only the smallest k is given).
The Maximum F1-Measure is complimentary in addition to the measures in the original publication.

Algorithm k P@n Adj. P@n AP Adj. AP Max-F1 Adj. MF1 ROC AUC
KNN 85 0.35519 0.28389 0.24444 0.16089 0.36508 0.29487 0.73196
KNN 100 0.35519 0.28389 0.24742 0.16420 0.37000 0.30034 0.73511
KNNW 93 0.33333 0.25962 0.23795 0.15369 0.36406 0.29374 0.72906
KNNW 95 0.33880 0.26569 0.23801 0.15375 0.36322 0.29281 0.72924
KNNW 100 0.33880 0.26569 0.23889 0.15473 0.36322 0.29281 0.72980
LOF 97 0.28415 0.20500 0.23316 0.14836 0.36326 0.29285 0.75754
LOF 98 0.27869 0.19893 0.23358 0.14884 0.36515 0.29495 0.75793
LOF 100 0.28415 0.20500 0.23464 0.15001 0.36364 0.29327 0.75916
SimplifiedLOF 77 0.28415 0.20500 0.20784 0.12025 0.32803 0.25372 0.71851
SimplifiedLOF 88 0.27322 0.19286 0.21037 0.12306 0.34331 0.27070 0.72080
SimplifiedLOF 100 0.26776 0.18679 0.21447 0.12761 0.33721 0.26392 0.72379
LoOP 75 0.27322 0.19286 0.20284 0.11469 0.31330 0.23737 0.70395
LoOP 96 0.26230 0.18072 0.20786 0.12027 0.32689 0.25246 0.71078
LoOP 100 0.26230 0.18072 0.20880 0.12132 0.33267 0.25888 0.71052
LDOF 72 0.26230 0.18072 0.20369 0.11564 0.30794 0.23142 0.69582
LDOF 94 0.25137 0.16859 0.21285 0.12582 0.33031 0.25626 0.71134
LDOF 98 0.24590 0.16252 0.21541 0.12865 0.32734 0.25296 0.71336
LDOF 100 0.24590 0.16252 0.21537 0.12861 0.32975 0.25564 0.71457
ODIN 90 0.28074 0.20121 0.22185 0.13580 0.34026 0.26732 0.70927
ODIN 99 0.27869 0.19893 0.22299 0.13708 0.34351 0.27092 0.71371
ODIN 100 0.27322 0.19286 0.22288 0.13695 0.33962 0.26660 0.71457
FastABOD 6 0.22951 0.14431 0.21169 0.12453 0.27322 0.19286 0.66929
FastABOD 48 0.25683 0.17466 0.20455 0.11660 0.27215 0.19167 0.66736
FastABOD 87 0.25683 0.17466 0.20582 0.11800 0.28025 0.20067 0.66991
FastABOD 100 0.25683 0.17466 0.20630 0.11854 0.27861 0.19884 0.67051
KDEOS 89 0.19672 0.10790 0.16167 0.06897 0.26899 0.18816 0.67294
KDEOS 100 0.19126 0.10183 0.16511 0.07279 0.27055 0.18989 0.68019
LDF 8 0.30601 0.22927 0.26936 0.18857 0.34452 0.27204 0.69771
LDF 94 0.34973 0.27782 0.25631 0.17408 0.35887 0.28798 0.77712
LDF 100 0.33880 0.26569 0.26133 0.17965 0.36876 0.29897 0.78173
INFLO 85 0.26230 0.18072 0.20972 0.12234 0.32800 0.25369 0.71320
INFLO 99 0.25683 0.17466 0.21418 0.12729 0.33833 0.26517 0.71533
INFLO 100 0.25683 0.17466 0.21493 0.12812 0.33898 0.26589 0.71397
COF 54 0.27322 0.19286 0.23463 0.15000 0.32683 0.25239 0.68724
COF 69 0.30055 0.22321 0.22800 0.14264 0.36019 0.28944 0.67676
COF 78 0.33880 0.26569 0.22483 0.13911 0.34465 0.27218 0.67298

Plots

Precision at n
Adjusted precision at n
Average precision
Adjusted average precision
Maximum F1 score
Adjusted maximum F1 score
ROC AUC
Diversity
A: KNN, B: KNNW, C: LOF, D: SimplifiedLOF, E: LoOP, F: LDOF
G: ODIN, H: KDEOS, I: COF, J: FastABOD, K: LDF, L: INFLO