B-概率论-极大似然估计

目录

• 极大似然估计
• 一、最大似然原理
• 二、极大似然估计
• 三、似然函数
• 四、极大似然函数估计值
• 五、求解极大似然函数
  • 5.1 未知参数只有一个
  • 5.2 位置参数有多个
  • 5.3 总结

更新、更全的《机器学习》的更新网站，更有python、go、数据结构与算法、爬虫、人工智能教学等着你：https://www.cnblogs.com/nickchen121/p/11686958.html

极大似然估计

一、最大似然原理

二、极大似然估计

极大似然估计是建立在最大似然原理的基础上的一个统计方法。极大似然估计提供了一种给定观察数据来评估模型参数的方法，即“模型已定，参数未知”。通过观察若干次实验的结果，利用实验结果得到某个参数值能够使样本出现的概率最大，则称为极大似然估计。

简而言之，极大似然估计的目的是利用已知的样本结果，反推最有可能导致这样结果的参数值。

三、似然函数

假设一个样本集D$D$的n$n$个样本都是独立同分布的，并且该样本集为

D=x1,x2,…,xn$$D=x_1,x_2,\dots ,x_n$$

似然函数（likelihood function）：联合概率密度函数p(D|θ)$p(D|\theta )$称为相对于x1,x2,…,xn$x_1,x_2,\dots ,x_n$的θ$\theta$的似然函数。

l(θ)=p(D|θ)=p(x1,x2,…,xn|θ)=∏i=1np(xi|θ)$$l(\theta )=p(D|\theta )=p(x_1,x_2,\dots ,x_n|\theta )=\prod _{i=1}^{n}p(x_i|\theta )$$

四、极大似然函数估计值

如果θ^$\hat{\theta }$是θ$\theta$参数空间中能使似然函数l(θ)$l(\theta )$最大的θ$\theta$值，则θ^$\hat{\theta }$是最可能的参数值，那么θ^$\hat{\theta }$是θ$\theta$的最大似然估计量，记作

θ^=d(x1,x2,…,xn)=d(D)$$\hat{\theta }=d(x_1,x_2,\dots ,x_n)=d(D)$$

并且θ^(x1,x2,…,xn)$\hat{\theta }(x_1,x_2,\dots ,x_n)$称作极大似然函数估计值。

五、求解极大似然函数

给出求解最大θ$\theta$值的公式

θ^=argmax������θl(θ)=argmax������θ∏i=1np(xi|θ)$$\hat{\theta }=arg\underset{\theta }{\underbrace{max}}l(\theta )=arg\underset{\theta }{\underbrace{max}}\prod _{i=1}^{n}p(x_i|\theta )$$

为了方便计算，定义对数似然函数H(θ)$H(\theta )$，即对似然函数求对数

H(θ)=lnl(θ)$$H(\theta )=\ln l(\theta )$$

因此求最大θ$\theta$值的公式变成了

θ^=argmax������θH(θ)=argmax������θlnl(θ)=argmax������θ∏i=1nlnp(xi|θ)$$\hat{\theta }=arg\underset{\theta }{\underbrace{max}}H(\theta )=arg\underset{\theta }{\underbrace{max}}\ln l(\theta )=arg\underset{\theta }{\underbrace{max}}\prod _{i=1}^n\ln p(x_i|\theta )$$

并且可以发现公式中只有一个变量θ$\theta$

5.1 未知参数只有一个

如果θ$\theta$为标量，在似然函数满足连续、可微的情况下，则极大似然估计量是下面微分方程的解

dH(θ)dθ=dlnl(θ)dθ=0$$\frac{dH(\theta )}{d\theta }=\frac{d\ln l(\theta )}{d\theta }=0$$

5.2 位置参数有多个

如果θ$\theta$为k$k$维向量，可以把θ$\theta$记作θ=[θ1,θ2,…,θk]T$\theta =[{\theta }_1,{\theta }_2,\dots ,{\theta }_k{]}^T$，对θ1,θ2,…,θk${\theta }_1,{\theta }_2,\dots ,{\theta }_k$求梯度，可得

Δθ=[∂∂θ1,∂∂θ2,⋯,∂∂θs]T$${\mathrm{\Delta }}_{\theta }=[\frac{\mathrm{\partial }}{{\mathrm{\partial }}_{{\theta }_1}},\frac{\mathrm{\partial }}{{\mathrm{\partial }}_{{\theta }_2}},\cdots ,\frac{\mathrm{\partial }}{{\mathrm{\partial }}_{{\theta }_s}}{]}^T$$

如果似然函数满足连续、可导的情况下，则最大似然估计量就是如下方程的解：

ΔθH(θ)=Δθlnl(θ)=∑i=1nΔθln(p(xi|θ))=0$${\mathrm{\Delta }}_{\theta }H(\theta )={\mathrm{\Delta }}_{\theta }\ln l(\theta )=\sum _{i=1}^n{\mathrm{\Delta }}_{\theta }\ln (p(x_i|\theta ))=0$$

5.3 总结

方程的解只是一个估计值，只有在样本趋于无限多的时候，才会逐渐接近真实值。