zoukankan      html  css  js  c++  java
  • 极大似然估计(MLE)与极大后验估计(MAP)

    极大似然估计(MLE)和极大后验估计(MAP)分别是频率学派和贝叶斯学派(统计学者分为两大学派,频率学派认为参数是非随机的,而贝叶斯学派认为参数也是随机变量)的参数估计方法,下面我们以线性回归分析为例,分别简要介绍MLE和MAP,两者的关系以及分别与最小二乘回归、正则化最小二乘回归分析的关系。(非常不专业和严谨,只希望通过最直接的方式帮助初学者理解这两种估计)。

    线性回归问题:

    给定观测数据(机器学习中通常叫做训练集)$S={x_i,y_i}_{i=1}^N,x_iin R^m, y_iin R$,我们希望利用$S$通过某种方式获得一个从$R^m$到$R$的函数以表达$x$与$y$之间的关系,进一步实现给定任意$x$值,预测出对应的$y$值。为了简单化,我们通常假设这个函数具有如下表达式$$ y = w^Tx + epsilon, epsilon sim N(0,sigma^2),$$ 其中$win R^m$是我们需要利用$S$来确定的参数。这里我们先不考虑偏置项,或者偏置也可以通过对$x$扩充1纳入这个模型。下面我们分别通过MLE和MAP来确定$w$的值。

    极大似然估计(MLE): 

    极大似然估计的认为观测值$y_i$是由分布$p(y|x,w)$采样产生的,也就是一个$w$的取值就可以确定一个$p(y|x,w)$,进而确定一种$y_i$的采样。因此可以认为$y_i$是结果,而$w$是原因。现在结果已经发生了,我们需要确定原因。所以我们就找最可能使得这个结果发生的原因,即极大化结果发生的概率。由于我们通常假设不同的$y_i$是独立同分布的,因此其发生的概率为$prod_{i=1}^N{p(y_i|x_i,w)}$,则寻找最优$w$的模型为$$max_wprod_{i=1}^N{p(y_i|x_i,w)}.$$上述模型不容易求导优化,通常对目标函数(似然函数)取对数在优化,即求解如下模型$$max_wsum_{i=1}^Nlog{p(y_i|x_i,w)}.$$由我们之间假设的模型,可以得到$p(y_i|x_i,w)=N(w^Tx_i,sigma^2)$,于是带入表达式很容易得到等价的优化模型如下$$min_wsum_{i=1}^N{(y_i-w^Tx_i)^2}.$$熟悉最小二乘估计的同学一下就看到这就是最小二乘模型,也就是说假设噪声为高斯噪声时,极大似然模型等价于最小二乘估计。

    极大后验估计(MAP):

    极大后验估计(MAP)认为$w$也是随机变量,而且具有先验分布$p(w)$。数据产生机制为先从分布$p(w)$产生$w$,在从分布$p(y|x,w)$产生$y_i$。因此$w$和$y_i$是互相关联的随机变量,现在$y_i$已经发生了,我们想要寻找最可能的$w$的值,也就是极大化$p(w|y_1,..,y_N;x_1,..,x_N)$,即$$max_wp(w|y_1,..,y_N;x_1,..,x_N).$$由于$p(w|y_1,..,y_N;x_1,..,x_N)=frac{p(y_1,..,y_N|x_1,..,x_N,w)p(w)}{p(y_1,..,y_N)}$,由独立同分布假设,模型等价于$$max_w(prod_{i=1}^Np(y_i|x_i,w))p(w).$$取对数后变为$$max_wsum_{i=1}^Nlog p(y_i|x_i,w)+log p(w).$$假设先验也是高斯分布$p(w)=N(0,lambda)$,则模型变为$$min_wfrac{1}{sigma^2}sum_{i=1}^N{(y_i-w^Tx_i)^2}+frac{1}{lambda}w^Tw.$$这其实就是正则化的最小二乘估计模型,所谓正则化的最小二乘估计模型就是在最小二乘中加入对$w$的正则,即$$min_wsum_{i=1}^N{(y_i-w^Tx_i)^2}+eta R(w),$$其中,$R(w)$是正则项,比如二范数正则,$eta$为正则项系数。显然,MAP是上述模型的特例。

  • 相关阅读:
    Android_bug之 task ':app:mergeDebugResources'. > Some file crunching failed, see logs f
    linux下vi命令大全[转]
    百度地图api 常用demo
    Mac之vim普通命令使用[转]
    java写文件
    java读取文件
    Android中对Log日志文件的分析[转]
    Android实用代码模块集锦
    java 位运算
    MyEclipse自带maven找不到或自己外置安装
  • 原文地址:https://www.cnblogs.com/XiangGu/p/12368341.html
Copyright © 2011-2022 走看看