zoukankan      html  css  js  c++  java
  • MAP(maximum a posteriori)

      在统计学中,最大后验概率(MAP) 估计可以用于未知参量的点估计,它和最大似然估计maximum likelihood (ML)Fisher方法差不多,但是这里的后验概率的最大化是和先验分布紧密相关的。故而MAP可以看作是ML估计的正则化。

      假设我们要根据观测变量x估计参量 θ,并假设x的采样分布是f,那么基于θx的条件概率为 f(x | θ) 于是就有似然函数 \theta \mapsto f(x | \theta) \! ,估计

     

           \hat{\theta}_{\mathrm{ML}}(x) = \arg\max_{\theta} f(x | \theta) \!

     

    作为θ的最大似然估计。

    现在假设参数 θ的先验概率是已知的,我们就可以把θ当作贝叶斯统计(Bayesian statistics)中的随机变量来处理。后验概率就可以表示为:

     

    \theta \mapsto \frac{f(x | \theta) \, g(\theta)}{\int_{\Theta} f(x | \theta') \, g(\theta') \, d\theta'} \! 

     

    其中g的定义域为Θ,这是贝叶斯定理的直接应用。将基于θ的最大后验概率就看作是随机变量x的后验分布:

    \hat{\theta}_{\mathrm{MAP}}(x) = \arg\max_{\theta} \frac{f(x | \theta) \, g(\theta)} {\int_{\Theta} f(x | \theta') \, g(\theta') \, d\theta'} = \arg\max_{\theta} f(x | \theta) \, g(\theta) \!

     

    上式中后验概率的分母就和θ没有任何关系了,因而在优化过程中不起任何作用。可以发现 MAPθ的先验分布为均匀分布时,和MLE是一致的。

     

    MAP计算方法:

    1、当后验概率可以表达成闭型形式时,则可以通过求导的方法求解;

    2、通过数值计算来优化,常用的方法有共轭梯度法和牛顿法,但是这些方法往往涉及到比较繁琐的一阶和二阶导数;

    3、通过改进型的最大期望算法,不需要计算后验概率的导数。

     

    评价:在贝叶斯方法中,像MAP这样通过先验概率来求解后验模式的方法并不多见,MAP是一种点估计,一般的贝叶斯方法是根据分布来提取数据的特征的。尤其是在后验概率并不是一个简单的分析形式,此时可以通过蒙特卡罗来模拟,但是要想获取其分布类型是很困难的。

  • 相关阅读:
    JS 字符串
    JS 变量
    JS 数据类型与运算符
    HTML加载动画实现
    DOM Document.readyState 属性
    html中怎么去掉input获取焦点时候的边框
    原生js获取子元素
    CSS3 Animation动画
    slice,substr和substring的区别
    a链接嵌套无效,嵌套链接最优解决办法
  • 原文地址:https://www.cnblogs.com/ysjxw/p/1127912.html
Copyright © 2011-2022 走看看