贝叶斯决策与学习
贝叶斯决策与Map分类器
后验概率
贝叶斯规则
Map分类器
- Map分类器决策边界
Map分类器：高斯观测概率
观测概率：单维高斯分布
- 高斯观测概率：决策边界
当
当
Map分类器解决了MICD分类器存在的问题：方差不同时，倾向于方差较小的一类
观测概率：高维高斯分布
决策风险与贝叶斯分类器
决策风险的概念
Map分类决策不能排除出现错误判断的情况，由此会带来决策风险
损失的概念
决策风险的评估
贝叶斯分类器
- 决策损失
样本的决策损失之和 - 决策目标
最小化期望损失
朴素贝叶斯分类器
最大似然估计
- 目标函数
- 均值估计
- 协方差估计
最大似然估计偏差
高斯分布协方差的最大似然估计是有偏的
贝叶斯估计
- 概念：
- 参数的后验概率
- 高斯观测似然
- 高斯均值后验概率
KNN估计
- 原理
