协方差与协方差矩阵

协方差与协方差矩阵

标签： 协方差 协方差矩阵 统计

---

引言

最近在看主成分分析（PCA），其中有一步是计算样本各维度的协方差矩阵。以前在看算法介绍时，也经常遇到，现找了些资料复习，总结如下。

协方差

通常，在提到协方差的时候，需要对其进一步区分。（1）随机变量的协方差。跟数学期望、方差一样，是分布的一个总体参数。（2）样本的协方差。是样本集的一个统计量，可作为联合分布总体参数的一个估计。在实际中计算的通常是样本的协方差。

随机变量的协方差

在概率论和统计中，协方差是对两个随机变量联合分布线性相关程度的一种度量。两个随机变量越线性相关，协方差越大，完全线性无关，协方差为零。定义如下。

cov(X,Y)=E[(X−E[X])(Y−E[Y])]$$\mathrm{cov}(X,Y)=\mathrm{E}[(X-\mathrm{E}[X])(Y-\mathrm{E}[Y])]$$

当X$X$，Y$Y$是同一个随机变量时，X$X$与其自身的协方差就是X$X$的方差，可以说方差是协方差的一个特例。

cov(X,X)=E[(X−E[X])(X−E[X])]$$\mathrm{cov}(X,X)=\mathrm{E}[(X-\mathrm{E}[X])(X-\mathrm{E}[X])]$$

或

var(X)=cov(X,X)=E[(X−E[X])2]$$\mathrm{var}(X)=\mathrm{cov}(X,X)=\mathrm{E}[(X-\mathrm{E}[X]{)}^2]$$

由于随机变量的取值范围不同，两个协方差不具备可比性。如X$X$，Y$Y$，Z$Z$分别是三个随机变量，想要比较X$X$与Y$Y$的线性相关程度强，还是X$X$与Z$Z$的线性相关程度强，通过cov(X,Y)$\mathrm{cov}(X,Y)$与cov(X,Z)$\mathrm{cov}(X,Z)$无法直接比较。定义相关系数η$\eta$为

η=cov(X,Y)var(X)⋅var(Y)−−−−−−−−−−−−√ $$\eta ={\displaystyle \frac{\mathrm{cov}(X,Y)}{\sqrt{\mathrm{var}(X)\cdot \mathrm{var}(Y)}}}$$

通过X$X$的方差var(X)$\mathrm{var}(X)$与Y$Y$的方差var(Y)$\mathrm{var}(Y)$对协方差cov(X,Y)$\mathrm{cov}(X,Y)$归一化，得到相关系数η$\eta$，η$\eta$的取值范围是[−1,1]$[-1,1]$。1$1$表示完全线性相关，−1$-1$表示完全线性负相关，0$0$表示线性无关。线性无关并不代表完全无关，更不代表相互独立。

样本的协方差

在实际中，通常我们手头会有一些样本，样本有多个属性，每个样本可以看成一个多维随机变量的样本点，我们需要分析两个维度之间的线性关系。协方差及相关系数是度量随机变量间线性关系的参数，由于不知道具体的分布，只能通过样本来进行估计。

设样本对应的多维随机变量为X=[X1,X2,X3,...,Xn]T$\mathbf{\text{X}}=[X_1,X_2,X_3,...,X_n{]}^T$，样本集合为{x⋅j=[x1j,x2j,...,xnj]T|1⩽j⩽m}$\{{\mathbf{\text{x}}}_{\cdot j}=[x_{1j},x_{2j},...,x_{nj}{]}^T|1⩽j⩽m\}$，m$m$为样本数量。与样本方差的计算相似，a$a$和b$b$两个维度样本的协方差公式为，其中1⩽a⩽n$1⩽a⩽n$，1⩽b⩽n$1⩽b⩽n$，n$n$为样本维度

qab=∑mj=1(xaj−x¯a)(xbj−x¯b)m−1$$q_{ab}={\displaystyle \frac{\sum _{j=1}^m(x_{aj}-{\overline{x}}_a)(x_{bj}-{\overline{x}}_b)}{m-1}}$$

这里分母为m−1$m-1$是因为随机变量的数学期望未知，以样本均值代替，自由度减一。

协方差矩阵

多维随机变量的协方差矩阵

对多维随机变量X=[X1,X2,X3,...,Xn]T$\mathbf{\text{X}}=[X_1,X_2,X_3,...,X_n{]}^T$，我们往往需要计算各维度两两之间的协方差，这样各协方差组成了一个n×n$n\times n$的矩阵，称为协方差矩阵。协方差矩阵是个对称矩阵，对角线上的元素是各维度上随机变量的方差。我们定义协方差矩阵为Σ$\mathrm{\Sigma }$，这个符号与求和∑$\sum$相同，需要根据上下文区分。矩阵内的元素Σij${\mathrm{\Sigma }}_{ij}$为

Σij=cov(Xi,Xj)=E[(Xi−E[Xi])(Xj−E[Xj])]$${\mathrm{\Sigma }}_{ij}=\mathrm{cov}(X_i,X_j)=\mathrm{E}[(X_i-\mathrm{E}[X_i])(X_j-\mathrm{E}[X_j])]$$

这样这个矩阵为

Σ=E[(X−E[X])(X−E[X])T]$$\mathrm{\Sigma }=\mathrm{E}[(\mathbf{\text{X}}-\mathrm{E}[\mathbf{\text{X}}])(\mathbf{\text{X}}-\mathrm{E}[\mathbf{\text{X}}]{)}^T]$$

=⎡⎣⎢⎢⎢⎢⎢cov(X1,X1)cov(X2,X1)⋮cov(Xn,X1)cov(X1,X2)cov(X2,X2)⋮cov(Xn,X2)⋯⋯⋱⋯cov(X1,Xn)cov(X2,Xn)⋮cov(Xn,Xn)⎤⎦⎥⎥⎥⎥⎥$$=\left[\begin{array}{cccc}\mathrm{cov}(X_1,X_1)& \mathrm{cov}(X_1,X_2)& \cdots & \mathrm{cov}(X_1,X_n)\\ \mathrm{cov}(X_2,X_1)& \mathrm{cov}(X_2,X_2)& \cdots & \mathrm{cov}(X_2,X_n)\\ ⋮& ⋮& \ddots & ⋮\\ \mathrm{cov}(X_n,X_1)& \mathrm{cov}(X_n,X_2)& \cdots & \mathrm{cov}(X_n,X_n)\end{array}\right]$$

=⎡⎣⎢⎢⎢⎢⎢⎢E[(X1−E[X1])(X1−E[X1])]E[(X2−E[X2])(X1−E[X1])]⋮E[(Xn−E[Xn])(X1−E[X1])]E[(X1−E[X1])(X2−E[X2])]E[(X2−E[X2])(X2−E[X2])]⋮E[(Xn−E[Xn])(X2−E[X2])]⋯⋯⋱⋯E[(X1−E[X1])(Xn−E[Xn])]E[(X2−E[X2])(Xn−E[Xn])]⋮E[(Xn−E[Xn])(Xn−E[Xn])]⎤⎦⎥⎥⎥⎥⎥⎥$$=\left[\begin{array}{cccc}\mathrm{E}[(X_1-\mathrm{E}[X_1])(X_1-\mathrm{E}[X_1])]& \mathrm{E}[(X_1-\mathrm{E}[X_1])(X_2-\mathrm{E}[X_2])]& \cdots & \mathrm{E}[(X_1-\mathrm{E}[X_1])(X_n-\mathrm{E}[X_n])]\\ \mathrm{E}[(X_2-\mathrm{E}[X_2])(X_1-\mathrm{E}[X_1])]& \mathrm{E}[(X_2-\mathrm{E}[X_2])(X_2-\mathrm{E}[X_2])]& \cdots & \mathrm{E}[(X_2-\mathrm{E}[X_2])(X_n-\mathrm{E}[X_n])]\\ ⋮& ⋮& \ddots & ⋮\\ \mathrm{E}[(X_n-\mathrm{E}[X_n])(X_1-\mathrm{E}[X_1])]& \mathrm{E}[(X_n-\mathrm{E}[X_n])(X_2-\mathrm{E}[X_2])]& \cdots & \mathrm{E}[(X_n-\mathrm{E}[X_n])(X_n-\mathrm{E}[X_n])]& \end{array}\right]$$

样本的协方差矩阵

与上面的协方差矩阵相同，只是矩阵内各元素以样本的协方差替换。样本集合为{x⋅j=[x1j,x2j,...,xnj]T|1⩽j⩽m}$\{{\mathbf{\text{x}}}_{\cdot j}=[x_{1j},x_{2j},...,x_{nj}{]}^T|1⩽j⩽m\}$，m$m$为样本数量，所有样本可以表示成一个n×m$n\times m$的矩阵。我们以Σ^$\hat{\mathrm{\Sigma }}$表示样本的协方差矩阵，与Σ$\mathrm{\Sigma }$区分。

Σ^=⎡⎣⎢⎢⎢⎢⎢q11q21⋮qn1q12q21⋮qn2⋯⋯⋱⋯q1nq2n⋮qnn⎤⎦⎥⎥⎥⎥⎥$$\hat{\mathrm{\Sigma }}=\left[\begin{array}{cccc}{q}_{11}& q_{12}& \cdots & q_{1n}\\ q_{21}& q_{21}& \cdots & q_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ q_{n1}& q_{n2}& \cdots & q_{nn}\end{array}\right]$$

=1m−1⎡⎣⎢⎢⎢⎢⎢⎢∑mj=1(x1j−x¯1)(x1j−x¯1)∑mj=1(x2j−x¯2)(x1j−x¯1)⋮∑mj=1(xnj−x¯n)(x1j−x¯1)∑mj=1(x1j−x¯1)(x2j−x¯2)∑mj=1(x2j−x¯2)(x2j−x¯2)⋮∑mj=1(xnj−x¯n)(x2j−x¯2)⋯⋯⋱⋯∑mj=1(x1j−x¯1)(xnj−x¯n)∑mj=1(x2j−x¯2)(xnj−x¯n)⋮∑mj=1(xnj−x¯n)(xnj−x¯n)⎤⎦⎥⎥⎥⎥⎥⎥$$=\frac{1}{m-1}\left[\begin{array}{cccc}\sum _{j=1}^m(x_{1j}-{\overline{x}}_1)(x_{1j}-{\overline{x}}_1)& \sum _{j=1}^m(x_{1j}-{\overline{x}}_1)(x_{2j}-{\overline{x}}_2)& \cdots & \sum _{j=1}^m(x_{1j}-{\overline{x}}_1)(x_{nj}-{\overline{x}}_n)\\ \sum _{j=1}^m(x_{2j}-{\overline{x}}_2)(x_{1j}-{\overline{x}}_1)& \sum _{j=1}^m(x_{2j}-{\overline{x}}_2)(x_{2j}-{\overline{x}}_2)& \cdots & \sum _{j=1}^m(x_{2j}-{\overline{x}}_2)(x_{nj}-{\overline{x}}_n)\\ ⋮& ⋮& \ddots & ⋮\\ \sum _{j=1}^m(x_{nj}-{\overline{x}}_n)(x_{1j}-{\overline{x}}_1)& \sum _{j=1}^m(x_{nj}-{\overline{x}}_n)(x_{2j}-{\overline{x}}_2)& \cdots & \sum _{j=1}^m(x_{nj}-{\overline{x}}_n)(x_{nj}-{\overline{x}}_n)\end{array}\right]$$

=1m−1∑j=1m(x⋅j−x¯)(x⋅j−x¯)T$$=\frac{1}{m-1}\sum _{j=1}^m({\mathbf{\text{x}}}_{\cdot j}-\overline{\mathbf{\text{x}}})({\mathbf{\text{x}}}_{\cdot j}-\overline{\mathbf{\text{x}}}{)}^T$$

公式中m$m$为样本数量，x¯$\overline{\mathbf{\text{x}}}$为样本的均值，是一个列向量，x⋅j${\mathbf{\text{x}}}_{\cdot j}$为第j$j$个样本，也是一个列向量。

在写程序计算样本的协方差矩阵时，我们通常用后一种向量形式计算。一个原因是代码更紧凑清晰，另一个原因是计算机对矩阵及向量运算有大量的优化，效率高于在代码中计算每个元素。

需要注意的是，协方差矩阵是计算样本不同维度之间的协方差，而不是对不同样本计算，所以协方差矩阵的大小与维度相同。

很多时候我们只关注不同维度间的线性关系，且要求这种线性关系可以互相比较。所以，在计算协方差矩阵之前，通常会对样本进行归一化，包括两部分：

1. y⋅j=x⋅j−x¯${\mathbf{\text{y}}}_{\cdot j}={\mathbf{\text{x}}}_{\cdot j}-\overline{\mathbf{\text{x}}}$。即对样本进行平移，使其重心在原点；
2. zi⋅=yi⋅/σi${\mathbf{\text{z}}}_{i\cdot }={\mathbf{\text{y}}}_{i\cdot }/{\sigma }_i$。其中σi${\sigma }_i$是维度i$i$的标准差。这样消除了数值大小的影响。

这样，协方差矩阵Σ^$\hat{\mathrm{\Sigma }}$可以写成

Σ^=1m−1∑j=1mz⋅jzT⋅j$$\hat{\mathrm{\Sigma }}=\frac{1}{m-1}\sum _{j=1}^m{\mathbf{\text{z}}}_{\cdot j}{\mathbf{\text{z}}}_{\cdot j}^T$$

该矩阵内的元素具有可比性。