机器学习——第三章笔记

贝叶斯决策与学习

贝叶斯决策与MAP分类器

• 后验概率：
  
• 贝叶斯规则：
  
• MAP分类器：
  

MAP分类器：高斯观测概率

• 观测概率：单维高斯分布
  
• 决策边界：
  

决策风险与贝叶斯分类器

• 决策风险和损失的概念
  
  
• 风险评估
  

贝叶斯分类器

在MAP分类器的基础上，加入决策风险因素。

• 朴素贝叶斯分类器
  

最大似然估计

定义

• 目标函数
  
• 均值
  
• 协方差
  

最大似然的估计偏差

• 高斯分布均值的最大似然估计是无偏估计，协方差的最大似然估计是有偏估计。

贝叶斯估计

概念

KNN估计