参考：《深度学习500问》
期望
在概率论和统计学中，数学期望（或均值，亦简称期望）是试验中每次可能结果的概率乘以其结果的总和。它反映随机变量平均取值的大小。
- 线性运算： (E(ax+by+c) = aE(x)+bE(y)+c)
- 推广形式： (E(sum_{k=1}^{n}{a_ix_i+c}) = sum_{k=1}^{n}{a_iE(x_i)+c})
- 函数期望：设(f(x))为(x)的函数，则(f(x))的期望为
- 离散函数： (E(f(x))=sum_{k=1}^{n}{f(x_k)P(x_k)})
- 连续函数： (E(f(x))=int_{-infty}^{+infty}{f(x)p(x)dx})
注意：
- 函数的期望不等于期望的函数，即(E(f(x))=f(E(x)))
- 一般情况下，乘积的期望不等于期望的乘积。
- 如果(X)和(Y)相互独立，则(E(xy)=E(x)E(y))。
方差
概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。方差是一种特殊的期望。定义为：
[Var(x) = E((x-E(x))^2)
]
方差性质：
1）(Var(x) = E(x^2) -E(x)^2)
2）常数的方差为0;
3）方差不满足线性性质;
4）如果(X)和(Y)相互独立, (Var(ax+by)=a^2Var(x)+b^2Var(y))
协方差
协方差是衡量两个变量线性相关性强度及变量尺度。 两个随机变量的协方差定义为：
[Cov(x,y)=E((x-E(x))(y-E(y)))
]
方差是一种特殊的协方差。当(X=Y)时，(Cov(x,y)=Var(x)=Var(y))。
协方差性质：
1）独立变量的协方差为0。
2）协方差计算公式：
[Cov(sum_{i=1}^{m}{a_ix_i}, sum_{j=1}^{m}{b_jy_j}) = sum_{i=1}^{m} sum_{j=1}^{m}{a_ib_jCov(x_iy_i)}
]
3）特殊情况：
[Cov(a+bx, c+dy) = bdCov(x, y)
]
相关系数
相关系数是研究变量之间线性相关程度的量。两个随机变量的相关系数定义为：
[Corr(x,y) = frac{Cov(x,y)}{sqrt{Var(x)Var(y)}}
]
相关系数的性质：
1）有界性。相关系数的取值范围是 ，可以看成无量纲的协方差。
2）值越接近1，说明两个变量正相关性（线性）越强。越接近-1，说明负相关性越强，当为0时，表示两个变量没有相关性。