Kendall Rank(肯德尔等级)相关系数

摘要:
1.引言在统计学中,肯德尔相关系数以莫里斯·肯德尔命名,常用希腊字母τ(tau)表示其值。肯德尔相关系数是用于测量两个随机变量之间相关性的统计值。肯德尔检验是一种非参数假设检验,它使用计算的相关系数来检验两个随机变量的统计相关性。肯德尔相关系数的取值范围在-1和1之间,当τ为1时,意味着两个随机变量具有一致的秩相关;当τ为-1时,意味着两个随机变量具有完全相反的品位阶段


1、简介
在统计学中,肯德尔相关系数是以Maurice Kendall命名的,并经常用希腊字母τ(tau)表示其值。肯德尔相关系数是一个用来测量两个随机变量相关性的统计值。一个肯德尔检验是一个无参数假设检验,它使用计算而得的相关系数去检验两个随机变量的统计依赖性。肯德尔相关系数的取值范围在-1到1之间,当τ为1时,表示两个随机变量拥有一致的等级相关性;当τ为-1时,表示两个随机变量拥有完全相反的等级相关性;当τ为0时,表示两个随机变量是相互独立的。

假设两个随机变量分别为X、Y(也可以看做两个集合),它们的元素个数均为N,两个随即变量取的第i(1<=i<=N)个值分别用Xi、Yi表示。X与Y中的对应元素组成一个元素对集合XY,其包含的元素为(Xi, Yi)(1<=i<=N)。当集合XY中任意两个元素(Xi, Yi)与(Xj, Yj)的排行相同时(也就是说当出现情况1或2时;情况1:Xi>Xj且Yi>Yj,情况2:Xi<Xj且Yi<Yj),这两个元素就被认为是一致的。当出现情况3或4时(情况3:Xi>Xj且Yi<Yj,情况4:Xi<Xj且Yi>Yj),这两个元素被认为是不一致的。当出现情况5或6时(情况5:Xi=Xj,情况6:Yi=Yj),这两个元素既不是一致的也不是不一致的。

这里有三个公式计算肯德尔相关系数的值

公式一:

 肯德尔相关系数公式1

其中C表示XY中拥有一致性的元素对数(两个元素为一对);D表示XY中拥有不一致性的元素对数。

注意:这一公式仅适用于集合X与Y中均不存在相同元素的情况(集合中各个元素唯一)。

公式二:

 肯德尔相关系数公式2

注意:这一公式适用于集合X或Y中存在相同元素的情况(当然,如果X或Y中均不存在相同的元素时,公式二便等同于公式一)。

其中C、D与公式一中相同;

肯德尔相关系数公式2-子公式1肯德尔相关系数公式2-子公式2肯德尔相关系数公式2-子公式3

N1、N2分别是针对集合X、Y计算的,现在以计算N1为例,给出N1的由来(N2的计算可以类推):

将X中的相同元素分别组合成小集合,s表示集合X中拥有的小集合数(例如X包含元素:1 2 3 4 3 3 2,那么这里得到的s则为2,因为只有2、3有相同元素),Ui表示第i个小集合所包含的元素数。N2在集合Y的基础上计算而得。

公式三:

 肯德尔相关系数公式3

注意:这一公式中没有再考虑集合X、或Y中存在相同元素给最后的统计值带来的影响。公式三的这一计算形式仅适用于用表格表示的随机变量X、Y之间相关系数的计算(下面将会介绍)。

参数M稍后会做介绍。

以上都是围绕用集合表示的随机变量而计算肯德尔相关系数的,下面所讲的则是围绕用表格表示的随机变量而计算肯德尔相关系数的。

通常人们会将两个随机变量的取值制作成一个表格,例如有10个样本,对每个样本进行两项指标测试X、Y(指标X、Y的取值均为1到3)。根据样本的X、Y指标取值,得到以下二维表格(表1):

 肯德尔相关系数表1

由表1可以得到X及Y的可以以集合的形式表示为:

X={1, 1, 2, 2, 2, 2, 2, 3, 3, 3};

Y={1, 2, 1, 1, 2, 2, 3, 2, 3, 3};

得到X、Y的集合形式后就可以使用以上的公式一或公式二计算X、Y的肯德尔相关系数了(注意公式一、二的适用条件)。

当然如果给定X、Y的集合形式,那么也是很容易得到它们的表格形式的。

这里需要注意的是:公式二也可以用来计算表格形式表示的二维变量的肯德尔相关系数,不过它一般用来计算由正方形表格表示的二维变量的肯德尔相关系数,公式三则只是用来计算由长方形表格表示的二维变量的Kendall相关系数。这里给出公式三中字母M的含义,M表示长方形表格中行数与列数中较小的一个。表1的行数及列数均为三。

2、适用范围 
肯德尔相关系数与斯皮尔曼相关系数对数据条件的要求相同,可参见统计相关系数(2)--Spearman Rank(斯皮尔曼等级)相关系数及MATLAB实现中介绍的斯皮尔曼相关系数对数据条件的要求。

3、Matlab实现
源程序一:

肯德尔相关系数的Matlab实现(依据公式二得到)

function coeff = myKendall(X , Y)
% 本函数用于实现肯德尔等级相关系数的计算操作
%
% 输入:
%   X:输入的数值序列
%   Y:输入的数值序列
%
% 输出:
%   coeff:两个输入数值序列X,Y的相关系数


if length(X) ~= length(Y)
    error('两个数值数列的维数不相等');
    return;
end

%将X变为行序列(如果X已经是行序列则不作任何变化)
if size(X , 1) ~= 1
    X = X';
end
%将Y变为行序列(如果Y已经是行序列则不作任何变化)
if size(Y , 1) ~= 1
    Y = Y';
end

N = length(X); %得到序列的长度
XY = [X ; Y]; %得到合并序列
C = 0; %一致性的数组对数
D = 0; %不一致性的数组对数
N1 = 0; %集合X中相同元素总的组合对数
N2 = 0; %集合Y中相同元素总的组合对数
N3 = 0; %合并序列XY的总对数
XPair = ones(1 , N); %集合X中由相同元素组成的各个子集的元素数
YPair = ones(1 , N); %集合Y中由相同元素组成的各个子集的元素数
cont = 0; %用于计数

%计算C与D
for i = 1 : N - 1
    for j = i + 1 : N
        if abs(sum(XY(: , i) ~= XY(: , j))) == 2 
            switch abs(sum(XY(: , i) > XY(: , j)))
                case 0
                    C = C + 1;
                case 1
                    D = D + 1;
                case 2
                    C = C + 1;
            end
        end
    end
end

%计算XPair中各个元素的值
while length(X) ~= 0
    cont = cont + 1;
    index = find(X == X(1));
    XPair(cont) = length(index);
    X(index) = [];
end
%计算YPair中各个元素的值
cont = 0;
while length(Y) ~= 0
    cont = cont + 1;
    index = find(Y == Y(1));
    YPair(cont) = length(index);
    Y(index) = [];
end

%计算N1、N2及N3的值
N1 = sum(0.5 * (XPair .* (XPair - 1)));
N2 = sum(0.5 * (YPair .* (YPair - 1)));
N3 = 0.5 * N * (N - 1);

coeff = (C - D) / sqrt((N3 - N1) * (N3 - N2));

end %函数myKendall结束

  

源程序二:

使用Matlab中已有的函数计算肯德尔相关系数

coeff = corr(X , Y , 'type' , 'Kendall');

  

注意:使用Matlab自带函数计算肯德尔相关系数时,需要保证X、Y均为列向量;Matlab自带的函数是通过公式二计算序列的肯德尔相关系数的。

这里还有另外一种不是计算肯德尔相关系数的公式(仅适用于集合X与Y中均不存在相同元素的情况,实际上其与公式一等价),可见参考文献(3)。

4、参考内容
(1)、http://en.wikipedia.org/wiki/Kendall_tau_rank_correlation_coefficient

(2)、http://www.unesco.org/webworld/idams/advguide/Chapt4_2.htm

(3)、http://www.wikidoc.org/index.php/Kendall_tau_rank_correlation_coefficient
---------------------
作者:wsywl
来源:CSDN
原文:https://blog.csdn.net/wsywl/article/details/5889419
版权声明:本文为博主原创文章,转载请附上博文链接!

免责声明:文章转载自《Kendall Rank(肯德尔等级)相关系数》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇pyspark 通过 json 字符串 创建DataFrameh5---链接下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

协方差矩阵

在做数字图像处理的时候,特别是PCA降维的时候,很多情况下要遇到协方差矩阵,其实一直糊里糊涂的不知道到底是个什么东西, 以下是我收集的网上资料做的整理和自己的一些理解。 统计学的基本概念 学过概率统计的孩子都知道,统计里最基本的概念就是样本的均值,方差,或者再加个标准差。首先我们给你一个含有n个样本的集合,依次给出这些概念的公式描述,这些高中学过数学的孩子...

图像检索中类似度度量公式:各种距离(1)

基于内容的图像检索(Content-Based Image Retrieval)是指通过对图像视觉特征和上下文联系的分析,提取出图像的内容特征作为图像索引来得到所需的图像。 相似度度量方法 在基于内容的图像检索中须要通过计算查询和候选图像之间在视觉特征上的相似度匹配。 因此须要定义一个合适的视觉特征相似度度量方法对图像检索的效果无疑是一个非常大的影响。...

数学概念的提出(一) —— 熵的定义式 H(x)=-log2(p(x))

h(x)=−log2p(x) 考虑一个离散型随机变量 x,当我们观测到该变量的一个特定值,问此时我们通过该值获得的关于该变量的信息量是多少? 信息量可视为“意外的程度”(degree of surprise)关于对该随机变量 x 的掌握; 如果该事件发生了,而我们事先被告知,该事件极不可能(highly improbable)发生,将会比被告知该事件极...

机器学习 —— 概率图模型(推理:MAP)

  MAP 是最大后验概率的缩写。后验概率指的是当有一定观测结果的情况下,对其他随机变量进行推理。假设随机变量的集合为X ,观察到的变量为 e, W = X-e , AP = P(W|e). 后验概率和联合概率是不同的两个概念。事实上,后验概率更接近推理本身的“意义”,并且被越来越多的用于诊断系统中。在医疗诊断系统中,存在包括病症,症状等许多随机变量,使用...

概率图模型(PGM):贝叶斯网(Bayesian network)初探

1. 从贝叶斯方法(思想)说起 - 我对世界的看法随世界变化而随时变化 用一句话概括贝叶斯方法创始人Thomas Bayes的观点就是:任何时候,我对世界总有一个主观的先验判断,但是这个判断会随着世界的真实变化而随机修正,我对世界永远保持开放的态度。 1763年,民间科学家Thomas Bayes发表了一篇名为《An essay towards solv...

特征选择 (feature_selection)

特征选择 (feature_selection) 目录 特征选择 (feature_selection) Filter 1. 移除低方差的特征 (Removing features with low variance) 2. 单变量特征选择 (Univariate feature selection) 2.1 卡方(Chi2)检验 2.2 Pear...