协方差矩阵和相关矩阵

一、协方差矩阵变量说明：设为一组随机变量，这些随机变量构成随机向量

，每个随机变量有m个样本，则有样本矩阵

x11x21

M.



.

xn1x12

...xn2..........x1mx2m. .xnm

其中对应着每个随机向量X的样本向量，对应着第i个随机单变量的所有样本值构成的向量。

单随机变量间的协方差：

随机变量

之间的协方差可以表示为

根据已知的样本值可以得到协方差的估计值如下：

可以进一步地简化为：

协方差矩阵：

二、相关矩阵（相关系数矩阵）

相关系数：

著名统计学家卡尔·皮尔逊设计了统计指标——相关系数。相关系数是用以反映变量之间相关关系密切程度的统计指标。相关系数是按积差方法计算，同样以两变量与各自平均值的离差为基础，通过两个离差相乘来反映两变量之间相关程度；着重研究线性的单相关系数。依据相关现象之间的不同特征，其统计指标的名称有所不同。如将反映两变量间线性相关关系的统计指标称为相关系数（相关系数的平方称为判定系数）；将反映两变量间曲线相关关系的统计指标称为非线性相关系数、非线性判定系数；将反映多元线性相关关系的统计指标称为复相关系数、复判定系数等。

相关系数用r表示，它的基本公式（formula）为：

相关系数的值介于–1与+1之间，即–1≤r≤+1。其性质如下：



 当r>0时，表示两变量正相关，r

线性关系越密切；|r|越接近于0，表示两变量的线性相关越弱。

 一般可按三级划分：|r|

为高度线性相关。

相关矩阵也叫相关系数矩阵，是由矩阵各列间的相关系数构成的。也就是说，相关矩阵第i行第j列的元素是原矩阵第i列和第j列的相关系数。

3、协方差矩阵和相关矩阵的关系

由二者的定义公式可知，经标准化的样本数据的协方差矩阵就是原始样本数据的相关矩阵。这里所说的标准化指正态化，即将原始数据处理成均值为0，方差为1的标准数据。即：

X'=(X-EX)/DX