方差与样本方差、协方差与样本协方差

0. 独立变量乘积的方差

• 独立变量积的方差与各自期望方差的关系：

  Var(XY)=[E(X)]2Var(Y)+[E(Y)]2Var(X)+Var(X)Var(Y)=[E(X)]2Var(Y)+[E(Y)]2Var(X)+2Var(X)Var(Y)−Var(X)Var(Y)=E(X2)Var(Y)+E(Y2)Var(X)−Var(X)Var(Y)

• 将其中的所有方差通过期望的方式替换（Var(X)=E(X2)−[E(X)]2），进一步可得：

  Var(XY)=E(X2)E(Y2)−(E(X)E(Y))2

1. 方差

连续型随机变量方差的定义，D(X)=E[(X−E(X))2]，也即由期望的定义而来；

• 连续型：σ2=D(X)=∫∞−∞[x−E(x)]2f(x)dx
• 离散型：σ2=D(X)=∑[X−E(X)]2Pk

2. 样本方差

• S2=1n∑i(Xi−X¯)2=1n∑iX2i−X¯2
• S2=1n−1∑i(Xi−X¯)2=1n−1∑(X2i−nX¯2)：表示对样本的无偏估计；

3. 协方差

两个随机变量，各自离差乘积（(X−E(X))(Y−E(Y))）的期望，

Cov(X,Y)==E{(X−E(X))(Y−E(Y))}E(XY)−E(X)E(Y)

4. 样本协方差

cov(x,y)=1n∑i=1n(xi−x¯)(yi−y¯)

• 显然，当 x 与 y 同时增大，或者同时减小时，二者的协方差才会为正；
  
  • 反之，如果协方差为负，则表示 ，二者反向变动；