zoukankan      html  css  js  c++  java
  • 期望、方差、协方差及相关系数的基本运算

    转载位置:http://blog.codinglabs.org/articles/basic-statistics-calculate.html

    这篇文章总结了概率统计中期望、方差、协方差和相关系数的定义、性质和基本运算规则。

    期望

    定义

    P(x)P(x)是一个离散概率分布函数,自变量的取值范围为{x1,x2,,xn}{x1,x2,⋯,xn}。其期望被定义为:

    E(x)=k=1nxkP(xk)E(x)=∑k=1nxkP(xk)

    p(x)p(x)是一个连续概率密度函数。其期望为:

    E(x)=+xp(x)dxE(x)=∫−∞+∞xp(x)dx

    性质

    1、线性运算规则

    期望服从线性性质(可以很容易从期望的定义公式中导出)。因此线性运算的期望等于期望的线性运算:

    E(ax+by+c)=aE(x)+bE(y)+cE(ax+by+c)=aE(x)+bE(y)+c

    这个性质可以推广到任意一般情况:

    E(k=1naixi+c)=k=1naiE(xi)+cE(∑k=1naixi+c)=∑k=1naiE(xi)+c

    2、函数的期望

    f(x)f(x)为x的函数,则f(x)f(x)的期望为:

    离散:

    E(f(x))=k=1nf(xk)P(xk)E(f(x))=∑k=1nf(xk)P(xk)

    连续:

    E(f(x))=+f(x)p(x)dxE(f(x))=∫−∞+∞f(x)p(x)dx

    一定要注意,函数的期望不等于期望的函数,即E(f(x))f(E(x))E(f(x))≠f(E(x))!。

    3、乘积的期望

    一般来说,乘积的期望不等于期望的乘积,除非变量相互独立。因此,如果x和y相互独立,则E(xy)=E(x)E(y)E(xy)=E(x)E(y)。

    期望的运算构成了统计量的运算基础,因为方差、协方差等统计量本质上是一种特殊的期望

    方差

    定义

    方差是一种特殊的期望,被定义为:

    Var(x)=E((xE(x))2)Var(x)=E((x−E(x))2)

    性质

    1、展开表示

    反复利用期望的线性性质,可以算出方差的另一种表示形式:

    Var(x)=====E((xE(x))2)E(x22xE(x)+(E(x))2)E(x2)2E(x)E(x)+(E(x))2E(x2)2(E(x))2+(E(x))2E(x2)(E(x))2Var(x)=E((x−E(x))2)=E(x2−2xE(x)+(E(x))2)=E(x2)−2E(x)E(x)+(E(x))2=E(x2)−2(E(x))2+(E(x))2=E(x2)−(E(x))2

    2、常数的方差

    常数的方差为0,由方差的展开表示很容易推得。

    3、线性组合的方差

    方差不满足线性性质,两个变量的线性组合方差计算方法如下:

    Var(ax+by)=a2Var(x)+b2Var(y)+2Cov(x,y)Var(ax+by)=a2Var(x)+b2Var(y)+2Cov(x,y)

    其中Cov(x,y)Cov(x,y)为x和y的协方差,下一节讨论。

    4、独立变量的方差

    如果两个变量相互独立,则:

    Var(ax+by)=a2Var(x)+b2Var(y)Var(ax+by)=a2Var(x)+b2Var(y)

    作为推论,如果x和y相互独立:Var(x+y)=Var(x)+Var(y)Var(x+y)=Var(x)+Var(y)。

    协方差

    定义

    两个随机变量的协方差被定义为:

    Cov(x,y)=E((xE(x))(yE(y)))Cov(x,y)=E((x−E(x))(y−E(y)))

    因此方差是一种特殊的协方差。当x=y时,Cov(x,y)=Var(x)=Var(y)Cov(x,y)=Var(x)=Var(y)。

    性质

    1、独立变量的协方差

    独立变量的协方差为0,可以由协方差公式推导出。

    2、线性组合的协方差

    协方差最重要的性质如下:

    Cov(i=1maixi,j=1nbjyj)=i=1mj=1naibjCov(xi,yj)Cov(∑i=1maixi,∑j=1nbjyj)=∑i=1m∑j=1naibjCov(xi,yj)

    很多协方差的计算都是反复利用这个性质,而且可以导出一些列重要结论。

    作为一种特殊情况:

    Cov(a+bx,c+dy)=bdCov(x,y)Cov(a+bx,c+dy)=bdCov(x,y)

    另外当x=y时,可以导出方差的一般线性组合求解公式:

    Var(k=1naixi)=i=1nj=1naiajCov(xi,xj)Var(∑k=1naixi)=∑i=1n∑j=1naiajCov(xi,xj)

    相关系数

    定义

    相关系数通过方差和协方差定义。两个随机变量的相关系数被定义为:

    Corr(x,y)=Cov(x,y)Var(x)Var(y)−−−−−−−−−−−√Corr(x,y)=Cov(x,y)Var(x)Var(y)

    性质

    1、有界性

    相关系数的取值范围为-1到1,其可以看成是无量纲的协方差。

    2、统计意义

    值越接近1,说明两个变量正相关性(线性)越强,越接近-1,说明负相关性越强,当为0时表示两个变量没有相关性。

  • 相关阅读:
    环境变量
    Python的简介和入门程序
    Mybatis的分页插件PageHelper的使用
    SQLyog 快捷键总结
    如何查看开发项目框架的版本信息
    Linux find命令示例 30
    转:数据库索引原理------MemCached
    array_merge 和 + 的区别
    [介绍]PHP设计模式:DAO(数据访问对象模式)
    PHP业务逻辑层和数据访问层设计
  • 原文地址:https://www.cnblogs.com/linkmust/p/9820639.html
Copyright © 2011-2022 走看看