协方差与联合概率密度的关系、协方差的几何意义

摘要:
以二维正态分布为例。当方差恒定且协方差变化时,分布沿纵横比等于两个方差之比的矩阵变窄。如下图所示,两个分布的标准差为0.1,平均值为0。协方差的左侧从0增加到0.01,右侧从0减少到-0.01。看了这张图后,人们可能会问,同一高度的椭圆的轮廓线是否总是随着协方差的变化而与矩形相切。看起来像这样,但实际上不是这样。具体的证明是高中的解析几何问题,这是不可重复的(事实上,通过仔细观察运动图和

  以二维正态分布来举例。当方差不变,而协方差变化时,分布沿着长宽比等于两个方差之比的矩阵逐渐变窄。如下图所示:

协方差与联合概率密度的关系、协方差的几何意义第1张

  两个分布的标准差都为0.1,均值都为0,协方差左边从0一直上升到0.01,右边从0下降到-0.01。

  看了这个图,有人可能会问,随着协方差的变化,同一高度的椭圆等高线是否始终与矩形相切。看起来好像是这样的,然而并没有。具体证明就是高中的解析几何题,不赘述(其实仔细看动图也能看出来并没有)。

  当协方差和方差一起变化时,分布变化如下:

协方差与联合概率密度的关系、协方差的几何意义第2张

  其中的矩形长宽比同样等于横纵随机变量的方差之比。

  经过以上观察,我们可以总结出,方差决定了联合分布的“倾斜度”,协方差决定了联合分布的“宽度”。

免责声明:文章转载自《协方差与联合概率密度的关系、协方差的几何意义》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇Navicat连接mysql8.0.1版本出现1251--Client does not support authentication protocol requested by server的解决gaussian算子下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

latex插图egin{minipage}强制左移hspace命令

事情是这样的,我在latex中插图,上面一张图是排列整整齐齐的图片,下面一张图就是我绘制的概率密度图,在使用latex插图的时候,因为概率密度图的纵坐标是有title的,所以会显得不整齐,如下图所示 在includegraphics前面添加了hspace命令之后,就变成如下所示...

两篇论文之CNN中正交操作

  CNN的权值正交性和特征正交性,在一定程度上是和特征表达的差异性存在一定联系的。   下面两篇论文,一篇是在训练中对权值添加正交正则提高训练稳定性,一篇是对特征添加正交性的损失抑制过拟合。 第一篇:Orthonormality Regularization Xie D, Xiong J, Pu S. All You Need is Beyond a G...

两个多维高斯分布之间的KL散度推导

  在深度学习中,我们通常对模型进行抽样并计算与真实样本之间的损失,来估计模型分布与真实分布之间的差异。并且损失可以定义得很简单,比如二范数即可。但是对于已知参数的两个确定分布之间的差异,我们就要通过推导的方式来计算了。   下面对已知均值与协方差矩阵的两个多维高斯分布之间的KL散度进行推导。当然,因为便于分布之间的逼近,Wasserstein dista...

协方差矩阵

在做数字图像处理的时候,特别是PCA降维的时候,很多情况下要遇到协方差矩阵,其实一直糊里糊涂的不知道到底是个什么东西, 以下是我收集的网上资料做的整理和自己的一些理解。 统计学的基本概念 学过概率统计的孩子都知道,统计里最基本的概念就是样本的均值,方差,或者再加个标准差。首先我们给你一个含有n个样本的集合,依次给出这些概念的公式描述,这些高中学过数学的孩子...

跟我学算法-pca(降维)

pca是一种黑箱子式的降维方式,通过映射,希望投影后的数据尽可能的分散, 因此要保证映射后的方差尽可能大,下一个映射的方向与当前映射方向正交 pca的步骤: 第一步: 首先要对当前数据(去均值)求协方差矩阵,协方差矩阵= 数据*数据的转置/(m-1) m表示的列数,对角线上表示的是方差,其他位置表示的是协方差 第二步:需要通过矩阵对角化,使得协方差为0,只...

Matlab数字信号处理

产生方波 clear t=0:0.01:10; subplot(4,1,1) f1=square(t);                       %  产生周期为2pi的方波信号 plot(t,f1) axis([0,10,-1.2,1.2]) subplot(4,1,2) f2=square(t,30);               %  产生周期为...