协方差矩阵的理解

转载自：https://www.cnblogs.com/chaosimple/p/3182157.html

方差和标准差一般用来描述一维数据

协方差用来描述二维数据

协方差矩阵用来描述二维及以上数据

协方差用来分析数据之间的相关性

数学期望

为啥提期望呢，肯定是有关系的嘞。来来来，先简单回顾下数学期望相关的知识。

• 数学期望
  离散型随机变量的一切可能的取值xi与对应的概率Pi(=xi)之积的和称为该离散型随机变量的数学期望（设级数绝对收敛），记为 E（x）。随机变量最基本的数学特征之一。它反映随机变量平均取值的大小。又称期望或均值。
  若随机变量X的分布函数F(x)可表示成一个非负可积函数f(x)的积分，则称X为连续性随机变量，f(x)称为X的概率密度函数（分布密度函数）。
• 方差
  方差是各个数据与平均数之差的平方的平均数。在概率论和数理统计中，方差（英文Variance）用来度量随机变量和其数学期望（即均值）之间的偏离程度。在许多实际问题中，研究随机变量和均值之间的偏离程度有着很重要的意义。
  方差刻画了随机变量的取值对于其数学期望的离散程度。

协方差

标准差和方差一般是用来描述一维数据的，但现实生活中我们常常会遇到含有多维数据的数据集，最简单的是大家上学时免不了要统计多个学科的考试成绩。面对这样的数据集，我们当然可以按照每一维独立的计算其方差，但是通常我们还想了解更多，比如，一个男孩子的猥琐程度跟他受女孩子的欢迎程度是否存在一些联系。协方差就是这样一种用来度量两个随机变量关系的统计量，我们可以仿照方差的定义：

 

image

来度量各个维度偏离其均值的程度，协方差可以这样来定义：

 

image

协方差的结果有什么意义呢？如果结果为正值，则说明两者是正相关的（从协方差可以引出“相关系数”的定义），也就是说一个人越猥琐越受女孩欢迎。如果结果为负值， 就说明两者是负相关，越猥琐女孩子越讨厌。如果为0，则两者之间没有关系，猥琐不猥琐和女孩子喜不喜欢之间没有关联，就是统计上说的“相互独立”。
从协方差的定义上我们也可以看出一些显而易见的性质，如：

 

image

 

image

协方差矩阵

前面提到的猥琐和受欢迎的问题是典型的二维问题，而协方差也只能处理二维问题，那维数多了自然就需要计算多个协方差，比如n维的数据集就需要计算个协方差，那自然而然我们会想到使用矩阵来组织这些数据。给出协方差矩阵的定义：

 

image

这个定义还是很容易理解的，我们可以举一个三维的例子，假设数据集有三个维度，则协方差矩阵为：

 

image

可见，协方差矩阵是一个对称的矩阵，而且对角线是各个维度的方差

其他博客：链接在这：http://blog.csdn.net/itplus/article/details/11452743