简介：
主要参考<<introduction to statistical pattern recognation>>第六章，做简单笔记。
1. 参数化与非参数化
参数化是指我们对于概率预先做出了分布形式假设，我们要做的只是估算参数值，比如我们假定是高斯分布，二项式分布等等。
非参数化直接从观察数据估计概率密度，不依赖任何对分布形式的假设。
2. 如何非参数化估计？
- 可以采用Parzen密度估计方法。
- 可以采用KNN方法。
区别是Parzen方法是固定v，不固定k,而KNN方法是固定k，不固定v。
3. 结论
- 贝叶斯分类器是最小化分类误差的理论上的最优分类器
- 参数化和非参数化分类器
- 非参数化分类器不对密度函数做任何假设
- 一个分类器将成为贝叶斯分类器，如果密度估算与实际的密度函数完全一致
- 当sample data 无限多的时候
- 结果误差就是贝叶斯误差，理论上的最优误差