点估计 Point Estimation
- 最大似然估计(Maximum Likelihood Estimate —— MLE)：视θ为固定的参数，假设存在一个最佳的参数（或参数的真实值是存在的），目的是找到这个值。
- θ = argmax l(θ)
- 最大后验估计(Maximum a Posteriori Estimate —— MAP)：视θ为一个随机变量，存在分布p(θ)，将其先验分布带入，但仍然假设存在最优的参数。
- θ = argmax l(θ)*p(θ) （即假设θ也是随机变量，存在着先验分布）
- MLE与MAP的关系：当我们对θ的分布完全未知时，MLE等价于MAP
- 参数估计的一致性Conference指：随着样本容量的增大收敛到参数真值的估计量；
- 参数估计的无偏性unbiased指：估计量的期望与被估计量的真值相等。
贝叶斯估计 Bayesian Estimation
与点估计不同的是，在贝叶斯观点中，θ是一个分布/随机变量，所以估计应该是一个分布，而不是一个值（点）！
p(θ|D)是贝叶斯参数估计的输出，是一个完整的分布，而不是一个点。
非参数估计 Non parameter estimation
常用的参数估计的形式基本都是单模的（Single Modal），不足以描述复杂的数据分布，应该以训练数据自身来估计分布。