本文介绍了几个重要的变量相关性的度量，包括皮尔逊相关系数、距离相关性和最大信息系数等，并用简单的代码和示例数据展示了这些度量的适用性对比。
从信号的角度来看，这个世界是一个嘈杂的地方。为了弄清楚所有的事情，我们必须有选择地把注意力集中到有用的信息上。
通过数百万年的自然选择过程，我们人类已经变得非常擅长过滤背景信号。我们学会将特定的信号与特定的事件联系起来。
例如，假设你正在繁忙的办公室中打乒乓球。为了回击对手的击球，你需要进行大量复杂的计算和判断，将多个相互竞争的感官信号考虑进去。为了预测球的运动，你的大脑必须重复采样球的位置并估计它未来的轨迹。更厉害的球员还会将对手击球时施加的旋转考虑进去。最后，为了击球，你需要考虑对手的位置、自己的位置、球的速度，以及你打算施加的旋转。
所有这些都涉及到了大量的潜意识微分学。一般来说，我们理所当然的认为，我们的神经系统可以自动做到这些。
同样令人印象深刻的是，人类大脑是如何区别对待它所接收到的无数竞争信号的重要性的。例如，球的位置被认为比你身后发生的对话或你面前打开的门更重要。
这听起来似乎不值得一提，但实际上这证明了可以多大程度上学习从噪声数据中做出准确预测。
当然，一个被给予连续的视听数据流的空白状态机将会面临一个困难的任务，即确定哪些信号能够最好地预测最佳行动方案。
幸运的是，有统计和计算方法可以用来识别带噪声和复杂的数据中的模式。
相关性
一般来说，当我们谈到两个变量之间的「相关性」时，在某种意义上，我们是指它们的「关系」。
相关变量是包含彼此信息的变量。两个变量的相关性越强，其中一个变量告诉我们的关于另一个变量的信息就越多。
cos()的值将根据两个箭头向量之间的角度而发生变化。
当角度为零时，cos()等于1。
经济参考报：区块链产业政策红利加速释放:6月10日，经济参考报刊文“区块链产业政策红利加速释放”。文章表示，工业和信息化部、中央网络安全和信息化委员会办公室日前联合发布《关于加快推动区块链技术应用和产业发展的指导意见》，明确了未来5年和10年区块链产业发展目标，指明区块链产业发展重点任务和保障措施。相关部门和专家学者表示，《指导意见》的出台，意味着国家对区块链产业发展的顶层设计基本完成，将有效引领区块链产业走高质量发展之路。这也预示着区块链发展的“政策红利期”即将来临，区块链将迎来新一波应用落地潮。[2021/6/10 23:25:58]
当角度为-180°时，cos()等于-1。
当角度为90°时，cos()等于0。
这可能看起来很熟悉——一个介于+1和-1之间的衡量标准似乎描述了两个向量之间的关系？那不是Pearson’sr吗？
那么——这正是它的解释！通过将数据视为高维空间中的箭头向量，我们可以用它们之间的角度作为相似度的衡量。
无盛行风向时，小船随机漂流
如果存在盛行风向，那么小船漂流的方向将依赖于风的强度。风力越强，依赖性越显著。
有盛行风向时，小船倾向于同向漂流
与之类似，无关变量可以被看作无盛行风向时随机漂流的小船；相关变量可以被看作在盛行风向影响下漂流的小船。在这个比喻中，风的强弱就代表着两个变量之间相关性的强弱。
如果我们允许盛行风向在湖面的不同位置有所不同，那么我们就可以引入非线性的概念。距离相关性利用「小船」之间的距离推断盛行风的强度。
AOFEX商务副总裁Vivian：即将启动OT生态矿池，分享平台红利:据官方消息，昨日，AOFEX商务副总裁Vivian在波卡生态狂欢周AMA主题分享中指出：AOFEX支持即将开启的Polkadot和Kusama插槽拍卖，届时用户可以在AOFEX一键参与插槽拍卖。同时，Vivian还透露出，AOFEX也在持续丰富平台生态建设，即将创立OT生态矿池，持仓OT的用户将共享平台红利，获得更多奖励。据悉，OT生态矿池第一期将在近日启动。
AOFEX数字货币金融衍生品交易所，旨在为用户提供优质服务和资产安全保障。[2021/3/25 19:18:14]
置信区间？
我们可以采取「重采样」方法为距离相关性估计建立置信区间。一个简单的例子是bootstrap重采样。
这是一个巧妙的统计技巧，需要我们从原始数据集中随机抽样以「重建」数据。这个过程将重复多次，每次都计算感兴趣的统计量。
这将为我们感兴趣的统计量产生一系列不同的估计值。我们可以通过它们估计在给定置信水平下的上限和下限。
请看下面的R语言代码，它实现了简单的bootstrap函数：
bootstrap<-function(x,y,reps,alpha){estimates<-c()original<-data.frame(x,y)N<-dim(original)for(iin1:reps){S<-originalestimates<-append(estimates,distanceCorrelation(S$x,S$y)。u<-alpha/2;l<-1-uinterval<-quantile(estimates,c(l,u))return(2*(dcor(x,y))-as.numeric(interval)。Billions项目组-->0.237to0.546
如果你想建立统计显著性，还有另一个重采样技巧，名为「排列检验」。
排列检验与上述bootstrap方法略有不同。在排列检验中，我们保持一个向量不变，并通过重采样对另一个变量进行「洗牌」。这接近于零假设——即，在变量之间不存在依赖关系。
声音 | 赵晓蕾：世界500强企业均积极探索区块链发展的红利:12月13日由上海市崇明区人民政府联合国工业发展组织上海投资促进中心等联合主办的的“2019上海?国际区块链赋能传统产业峰会”12日在上海展览中心西二馆开幕。上海市崇明区副区长郑益川、联合国工业发展组织上海投资促进中心主任赵晓蕾表示，表示当前先进的数字制造技术的出现和发展正给制造业带来根本性的变革，物理制造系统和数字化制造系统之间的界限变得越来越小。包括区块链、机器人、人工智能、增材制造、数字分析等在内的先进技术都给工业带来巨大的变革，加快制造业的转型升级。当前，全球各国及世界500强企业均已积极布局，探索区块链发展的红利。同时，区块链不仅仅是技术的革新和进步，更是颠覆全球各产业链格局的新一轮商业革命。[2019/12/13]
这个经「洗牌」打乱的变量将被用于计算它和常变量间的距离相关性。这个过程将被执行多次，然后，结果的分布将与实际距离相关性相比较。
然后，大于或等于「实际」结果的经「洗牌」的结果的比例将被定为P值，并与给定的显著性阈值进行比较。
以下是上述过程的代码实现：
permutationTest<-function(x,y,reps){observed<-distanceCorrelation(x,y)y_i<-sample(y,length(y),replace=T)estimates<-append(estimates,distanceCorrelation(x,y_i)。p_value<-mean(estimates>=observed)return(p_value。Billions项目组-->0.036
最大信息系数
最大信息系数于2011年提出，它是用于检测变量之间非线性相关性的最新方法。用于进行MIC计算的算法将信息论和概率的概念应用于连续型数据。
深入细节
由克劳德·香农于20世纪中叶开创的信息论是数学中一个引人注目的领域。
信息论中的一个关键概念是熵——这是一个衡量给定概率分布的不确定性的度量。概率分布描述了与特定事件相关的一系列给定结果的概率。
金色相对论 | 链播联合创始人柏晓俊：STO红利与99.9%的币圈项目无关:本期金色相对论中，美国纽约州与中国律师，链播北美联合创始人柏晓俊表示，“STO红利与99.9%的币圈项目无关。”首先，所谓的全球流动性是一个美丽的梦，在一级市场流动性的显著增长并不容易因为涉及到东道国法律的遵循，而二级市场又要遵循传统股票交易市场规则；第二，投资者不再是“韭菜”，市场将属于占有更多资源和资金的参与者，传统金融旧势力也将阻碍新兴融资方式的发展；第三，STO促进了“脱虚向实”的实体资产配置，同时也更需要后续的海外合规运营与维护费用，对项目国际化运营的能力提出更高的要求；第四，刑事追诉与民事赔偿风险。如果项目的发起人不具备良好的法律知识与律师团队，在美国发行STO并不是一个好的解决方案，因为一些在中国常见的市场营销手段，如夸大公司的融资金额都可能构成美国证券法项下的欺诈行为而承担法律责任。一个近期的案例就是特斯拉的CEO艾伦马斯克在推特上发表说计划将特斯拉私有化而被SEC起诉误导投资者（Misleading? Investors），进而和解并赔偿2000万美元以及卸任公司的董事长一职。[2018/11/8]
概率分布的熵是「每个可能结果的概率乘以其对数后的和」的负值
为了理解其工作原理，让我们比较下面两个概率分布：
X轴标明了可能的结果；Y轴标明了它们各自的概率
左侧是一个常规六面骰子结果的概率分布；而右边的六面骰子不那么均匀。
从直觉上来说，你认为哪个的熵更高呢？哪个骰子结果的不确定性更大？让我们来计算它们的熵，看看答案是什么。
entropy<-function(x){pr<-prop.table(table(x))H<-sum(pr*log(pr,2))return(-H。dice1<-1:6dice2<-c(1,1,1,1,2:6)entropy(dice1)Billions项目组-->2.281
不出所料，常规骰子的熵更高。这是因为每种结果的可能性都一样，所以我们不会提前知道结果偏向哪个。但是，非常规的骰子有所不同——某些结果的发生概率远大于其它结果——所以它的结果的不确定性也低一些。
声音 | 董冬：中国是社交红利的时代:10月20日，由金色学院创业营主办的第十期金色学院在北京桃花源实验室正式开启第二天的课程。桃花源实验室联合发起人董冬携《区块链的小圈子大世界》主题登台授课。董冬以区块链能不能成为下一代的共享经济为引展开课程，随后与学员们探讨了社群的价值和意义、社群运营案例分析等问题。并提出了“创始人需要有两个社群”、“以求道的精神做产品，用求爱的方式做传播”、“中国是社交红利的时代”等独到观点。[2018/10/20]
这么一来，我们就能明白，当每种结果的发生概率相同时，它的熵最高。而这种概率分布也就是传说中的「均匀」分布。
交叉熵是熵的一个拓展概念，它引入了第二个变量的概率分布。
crossEntropy<-function(x,y){prX<-prop.table(table(x))prY<-prop.table(table(y))H<-sum(prX*log(prY,2)。
两个相同概率分布之间的交叉熵等于其各自单独的熵。但是对于两个不同的概率分布，它们的交叉熵可能跟各自单独的熵有所不同。
这种差异，或者叫「散度」可以通过KL散度量化得出。
两概率分布X与Y的KL散度如下：
概率分布X与Y的KL散度等于它们的交叉熵减去X的熵
KL散度的最小值为0，仅当两个分布相同。
KL_divergence<-function(x,y){kl<-crossEntropy(x,y)-entropy(x)return(kl。
为了发现变量具有相关性，KL散度的用途之一是计算两个变量的互信息。
互信息可以定义为「两个随机变量的联合分布和边缘分布之间的KL散度」。如果二者相同，MI值取0。如若不同，MI值就为一个正数。二者之间的差异越大，MI值就越大。
为了加深理解，我们首先简单回顾一些概率论的知识。
变量X和Y的联合概率就是二者同时发生的概率。例如，如果你抛掷两枚硬币X和Y，它们的联合分布将反映抛掷结果的概率。假设你抛掷硬币100次，得到「正面、正面」的结果40次。联合分布将反映如下：
P(X=H,Y=H)=40/100=0.4
jointDist<-function(x,y){u<-unique(append(x,y))joint<-c()for(iinu){for(jinu){f<-xjoint<-append(joint,length(f)/N。return(joint。
边缘分布是指不考虑其它变量而只关注某一特定变量的概率分布。假设两变量独立，二者边缘概率的乘积即为二者同时发生的概率。仍以抛硬币为例，假如抛掷结果是50次正面和50次反面，它们的边缘分布如下：
P(X=H)=50/100=0.5;P(Y=H)=50/100=0.5
P(X=H)×P(Y=H)=0.5×0.5=0.25
marginalProduct<-function(x,y){marginal<-c()fX<-length(x)/NfY<-length(y)/Nmarginal<-append(marginal,fX*fY。return(marginal。
现在让我们回到抛硬币的例子。如果两枚硬币相互独立，边缘分布的乘积表示每个结果可能发生的概率，而联合分布则为实际得到的结果的概率。
如果两硬币完全独立，它们的联合概率在数值上等于边缘分布的乘积。若只是部分独立，此处就存在散度。
这个例子中，P(X=H,Y=H)>P(X=H)×P(Y=H)。这表明两硬币全为正面的概率要大于它们的边缘分布之积。
联合分布和边缘分布乘积之间的散度越大，两个变量之间相关的可能性就越大。两个变量的互信息定义了散度的度量方式。
X和Y的互信息等于「二者边缘分布积和的联合分布的KL散度」
mutualInfo<-function(x,y){joint<-jointDist(x,y)marginal<-marginalProduct(x,y)Hjm<--sum(joint*log(marginal,2))Hj<--sum(joint*log(joint,2))return(Hjm-Hj。
此处的一个重要假设就是概率分布是离散的。那么我们如何把这些概念应用到连续的概率分布呢？
分箱算法
其中一种方法是量化数据。这是通过分箱算法实现的，它能将连续的数据点分配对应的离散类别。
此方法的关键问题是到底要使用多少「箱子」。幸运的是，首次提出MIC的论文给出了建议：穷举！
也就是说，去尝试不同的「箱子」个数并观测哪个会在变量间取到最大的互信息值。不过，这提出了两个挑战：
要试多少个箱子呢？理论上你可以将变量量化到任意间距值，可以使箱子尺寸越来越小。
互信息对所用的箱子数很敏感。你如何公平比较不同箱子数目之间的MI值？
第一个挑战从理论上讲是不能做到的。但是，论文作者提供了一个启发式解法。他们也给出了可试箱子个数的上限。
最大可用箱子个数由样本数N决定
至于如何公平比较取不同箱子数对MI值的影响，有一个简单的做法……就是归一化！这可以通过将每个MI值除以在特定箱子数组合上取得的理论最大值来完成。我们要采用的是产生最大归一化MI总值的箱子数组合。
互信息可以通过除以最小的箱子数的对数来归一化
最大的归一化互信息就是X和Y的最大信息系数。我们来看看一些估算两个连续变量的MIC的代码。
MIC<-function(x,y){maxBins<-ceiling(N**0.6)MI<-c()for(iin2:maxBins){for(jin2:maxBins){if(i*j>maxBins){nextXbins<-i;Ybins<-jbinnedX<-cut(x,breaks=Xbins,labels=1:Xbins)binnedY<-cut(y,breaks=Ybins,labels=1:Ybins)MI_estimate<-mutualInfo(binnedX,binnedY)MI_normalized<-MI_estimate/log(min(Xbins,Ybins),2)MI<-append(MI,MI_normalized。return(max(MI)。x<-runif(100,-10,10)y<-x**2+rnorm(100,0,10)MIC(x,y)Billions项目组-->0.594to0.88
总结
为了总结相关性这一主题，我们来测试下各算法在人工生成数据上的处理能力。
完整代码：https://gist.github.com/anonymous/fabecccf33f9c3feb568384f626a2c07
噪声函数
set.seed(123)Billions项目组Simplelinearrelationshipx1<--20:20y1<-x1+rnorm(41,0,4)plot(y1~x1,pch=18)cor(x1,y1)distanceCorrelation(x1,y1)MIC(x1,y1)
Pearson'sr=+0.95
距离相关性=0.95
MIC=0.89
简单二次函数
Billions项目组Cosinex3<--20:20y3<-cos(x3/4)+rnorm(41,0,0.2)plot(y3~x3,type='p',pch=18)cor(x3,y3)distanceCorrelation(x3,y3)MIC(x3,y3)
Pearson'sr=-0.035
距离相关性=0.382
MIC=0.484
圆函数
#Circlen<-50theta<-runif(n,0,2*pi)x4<-append(cos(theta),cos(theta))y4<-append(sin(theta),-sin(theta))plot(x4,y4,pch=18)cor(x4,y4)distanceCorrelation(x4,y4)MIC(x4,y4)
Pearson'sr<0.001
距离相关性=0.234
MIC=0.218
原文链接：https://medium.freecodecamp.org/how-machines-make-predictions-finding-correlations-in-complex-data-dfd9f0d87889
本文为机器之心编译，转载请联系本公众号获得授权。
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。