MLE和MAP

MAP Maxium a Posterior 最大后验概率

MLE Maxium Likelihood Estimator 极大似然估计

给定样本(mathcal{D} = \{ x_i\}_i^N)是独立的，依概率(P(x|y))抽样得到。那么求解
[
y^{star} = arg max_y ln P(mathcal{D} | y) = sum_{i=1}^N ln p(x_i | y)
]
的过程是MLE，根据贝叶斯公式
[
P(y|x) = frac{P(x,y)}{P(x)} = frac{P(x|y)p(y)}{sum_y P(x|y)p(y)}
]
求
[
max ln P(y|x)
]
的过程是MAP，且当(P(y))已知时，由
[
max ln P(y|x) = P(y) ln P(x|y)
]
知MLE和MAP相同。