贝叶斯决策理论

(学习这部分内容需要花费约1.2小时)

摘要

当我们使用贝叶斯参数估计方法时, 往往是因为我们想作出决策. 在贝叶斯决策理论中, 我们通过最小化期望损失来作出决策. 当我们计算预测分布的众数或期望等统计量时, 这可以被解释为特定损失函数下的决策理论解.

预备内容

为弄清楚贝叶斯决策理论的概念, 需要一些预备知识

• 贝叶斯参数估计(Bayesian parameter estimation): 我们使用贝叶斯参数估计来获得后验, 基于这个后验来构建决策
• 损失函数(loss function): 贝叶斯决策理论的目的是对于特定损失函数, 最小化后验分布下的期望损失.
• 期望和方差(expectation and variance): 贝叶斯决策理论的目的是对于特定损失函数, 最小化后验分布下的期望损失.

学习目标

• 知道如何定义最有决策(根据最小化关于后验的期望损失)
• 推导出某些特定损失函数的估计量
  • 0-1损失
  • 二次损失
  • 绝对损失

核心资源

(阅读/观看其中一个)

付费

• Machine Learning: a Probabilistic Perspective(MLAPP)
  简介: 一本非常全面的研究生机器学习教材
  位置: Sections 3.1-3.3, pgs. 65-78
  [网站]
  作者: Kevin P. Murphy

增补资源

(下面的是选修内容, 但您可能发现它们很有用)

付费

• Pattern Recognition and Machine Learning(PRML)
  研究生机器学习课程的教科书, 聚焦于贝叶斯方法
  位置: Section 2.1, pgs. 68-74
  [网站]
  作者: Christopher M. BIshop

相关资源

• [Influence diagrams](https://metacademy.org/graphs/concepts/influence_diagrams)是决策理论问题的图模型形式
  

---

返回贝叶斯机器学习路线