【机器学习理论】概率论与数理统计--独立和不相关

独立和互斥的区别在此省略，比较好理解。

首先我们看协方差的定义:

　　　　　　　　　　　　Cov(X, Y) = E{[X - E(X)][Y - E(Y)]}.

协方差的性质有:

　　　　　　　　　　　　Cov(X, Y) = Cov(Y, X)

　　　　　　　　　　　　Cov(aX+b, cY+d) = acCov(X, Y)

　　　　　　　　　　　　Cov(X₁+X₂, Y) = Cov(X₁, Y) + Cov(X₂, Y) 

　　　　　　　　　　　　Cov(X, Y) = E(XY) - E(X)E(Y)

若两变量X和Y相互独立，E(XY) = E(X)E(Y)，而Cov(X, Y) = E(XY) - E(X)E(Y), 从而，当X和Y独立时，Cov(X, Y) = 0；反之不成立，若E(XY) = E(X)E(Y),即Cov(X, Y) = 0, 只能说明X和Y不相关，而不能说他们独立。(注:我们说的相不相关指的是是否线性相关)

如何理解呢？举一个例子

画一个二维直角坐标轴，(X,Y)均匀分布在单位圆X²+Y²=1上。

①那么此时X和Y不是线性相关的，即相关系数为0.

　　　文字解释：按线性回归来讲，直线的截距是可负可正可0的，只有对应的x和y都满足直线方程才能说是X和Y是线性相关，但显然，只有过原点才满足，其余情况满足不了，故X和Y是不相关的。

　　　数学解释: E(X|Y) = E(Y|X) = 0, 所以 E(X) = E(Y) = 0，而且  E(XY) = E(Y)E(X|Y) = E(X)E(Y|X) = 0, 所以 Cov(X, Y) = E(XY) - E(X)E(Y) = 0

②但两个变量并不是独立的，因为X的取值对于Y的取值是有影响的。