转载位置:http://blog.codinglabs.org/articles/basic-statistics-calculate.html
这篇文章总结了概率统计中期望、方差、协方差和相关系数的定义、性质和基本运算规则。
期望
定义
设P(x)P(x)是一个离散概率分布函数,自变量的取值范围为{x1,x2,⋯,xn}{x1,x2,⋯,xn}。其期望被定义为:
设p(x)p(x)是一个连续概率密度函数。其期望为:
性质
1、线性运算规则
期望服从线性性质(可以很容易从期望的定义公式中导出)。因此线性运算的期望等于期望的线性运算:
这个性质可以推广到任意一般情况:
2、函数的期望
设f(x)f(x)为x的函数,则f(x)f(x)的期望为:
离散:
连续:
一定要注意,函数的期望不等于期望的函数,即E(f(x))≠f(E(x))E(f(x))≠f(E(x))!。
3、乘积的期望
一般来说,乘积的期望不等于期望的乘积,除非变量相互独立。因此,如果x和y相互独立,则E(xy)=E(x)E(y)E(xy)=E(x)E(y)。
期望的运算构成了统计量的运算基础,因为方差、协方差等统计量本质上是一种特殊的期望。
方差
定义
方差是一种特殊的期望,被定义为:
性质
1、展开表示
反复利用期望的线性性质,可以算出方差的另一种表示形式:
2、常数的方差
常数的方差为0,由方差的展开表示很容易推得。
3、线性组合的方差
方差不满足线性性质,两个变量的线性组合方差计算方法如下:
其中Cov(x,y)Cov(x,y)为x和y的协方差,下一节讨论。
4、独立变量的方差
如果两个变量相互独立,则:
作为推论,如果x和y相互独立:Var(x+y)=Var(x)+Var(y)Var(x+y)=Var(x)+Var(y)。
协方差
定义
两个随机变量的协方差被定义为:
因此方差是一种特殊的协方差。当x=y时,Cov(x,y)=Var(x)=Var(y)Cov(x,y)=Var(x)=Var(y)。
性质
1、独立变量的协方差
独立变量的协方差为0,可以由协方差公式推导出。
2、线性组合的协方差
协方差最重要的性质如下:
很多协方差的计算都是反复利用这个性质,而且可以导出一些列重要结论。
作为一种特殊情况:
另外当x=y时,可以导出方差的一般线性组合求解公式:
相关系数
定义
相关系数通过方差和协方差定义。两个随机变量的相关系数被定义为:
性质
1、有界性
相关系数的取值范围为-1到1,其可以看成是无量纲的协方差。
2、统计意义
值越接近1,说明两个变量正相关性(线性)越强,越接近-1,说明负相关性越强,当为0时表示两个变量没有相关性。