zoukankan      html  css  js  c++  java
  • 先验概率、似然函数、后验概率、贝叶斯公式

    这个文章的目的是为了加强对这几个概念的理解与记忆。

    怕自己不知道什么时候又忘了。

    看自己写的东西总应该好理解记忆一些吧。

    联合概率的乘法公式:

    (当随机变量x,y独立,则

    这太简单了是吧。。。。

    联合概率公式变个形,得到条件概率公式为:

    全概率公式:

    ,其中

    可以这样理解把一个圆看成x,其中被划分为好多种情况,对每一种情况的概率求和就是全概率(整个概率)。

    ,则可轻易推导出上式)

    贝叶斯公式:

    又名后验概率公式、逆概率公式。

    后验概率=似然函数*先验概/证据因子。(是对上式最后一个等号的内容解释的)

    举个例子。

    假设我们根据“是否阴天”这个随机变量x(取值为“阴天”或“不阴天”)的观测样本数据,来判断是否会下雨(假设总共只有这两种类别下雨,不下雨)。我们根据经验来判断,比如根据历史数据估,阴天有70%会下雨,也就是说无须观测样本数据就知道下雨的先验概率(Prior Probability)较大。

    接着,我们得到了的观测样本数据:“下雨”表现为阴天的 条件概率或者说这种“可能性”即似然(Likelihood))相比于”不下雨“表现为“阴天”的似然较大。

    所以经这次观测之后加强了我们的判断:下雨的后验概率(Posterior Probability)变得比先验概率更大,超过了之前的70%!

    反之,则会减弱我们的判断,下雨的后验概率将小于70%。

    因此,后验概率包含了先验信息以及观测样本数据提供的后验信息,对先验概率进行了修正,更接近真实情况。

    此外,证据因子(Evidence,也被称为归一化常数)可仅看成一个权值因子,以保证各类别的后验概率总和为1从而满足概率条件。

    如果我们的目标仅仅是要对所属类别做出一个判别:是“下雨”还是“不下雨”,则无须去计算后验概率的具体数值,只需计算哪个类别的后验概率更大即可。假设下雨和不下雨出现的先验概率相等则此时类别的判定完全取决于似然和的大小。因此,似然函数(Likelihood,“可能性”)的重要性不是它的具体取值,而是当参数(如类别参数)变化时,函数到底变小还是变大,以便反过来对参数进行估计求解(估计出是还是)。

  • 相关阅读:
    DB-概念-同义词:同义词/Synonym
    DB-概念-数据库:数据库/Database
    DB:目录
    信息安全-OAuth2.0:NuGetFromMicrosoft
    资源-DotNet-站点:DotNet 站点列表
    Nuget-Swagger-Swashbuckle:Swashbuckle
    Nuget-Doc:Nuget 简介
    Nuget-Doc:NuGet 介绍
    术语-Portal:Portal(Web站点)
    cocos2d-html5模板分析
  • 原文地址:https://www.cnblogs.com/ldphoebe/p/5041813.html
Copyright © 2011-2022 走看看