1. 贝叶斯决策理论
贝叶斯决策理论是解决分类问题的一种基本统计途径，其出发点是利用概率的不同分类决策，与相应决策所付出的代价进行折中，它假设决策问题可以用概率的形式描述，并且假设所有有关的概率结构均已知。
2. 各种概率及其关系
- 先验概率：
[P(omega_i)
]
- 后验概率：
[P(omega_i | x)
]
- 类条件概率：
[P(x |omega_i )
]
- 贝叶斯公式：
[P left( omega _ { i } | mathbf { x }
ight) = frac { P ( mathbf { x } | omega _ { i } ) P left( omega _ { i }
ight) } { P ( mathbf { x } ) }
]
3. 最小错误率准则
- 判别(x)属于(w=omega_i)的错误率：
[P ( ext { error } | mathbf { x } ) = sum _ { j
eq i } P left( omega _ { j } | mathbf { x }
ight) = 1 - P left( omega _ { i } | mathbf { x }
ight)
]
- 判别准则：
[i = arg max _ { 1 leq j leq c } P left( omega _ { j } | mathbf { x }
ight)
]
(c)是所有类别总数，根据该将(x)归为(omega_i)类
- 根据贝叶斯公式，构造出判别函数(g _ { j } ( mathbf { x } ) = p ( mathbf { x } | omega _ { j } ) P left( omega _ { j } ight))，即先验概率与类条件概率的乘积。
贝叶斯公式的分母(P(x))，只是起到标量因子的作用，保证各类别的后验概率值的和为1。
- 我们希望判别函数(g_j(x))越大越好，将(x)归为判别函数最大的类别。
4. 最小平均风险则
- 一共有(c)个类别，将(w_i)类的样本判别为(w_j)类的代价为(lambda_{ij})。
- 将未知模式(x)判别为(w_j)类的平均风险(g_j(x))为：
[g _ { j } ( mathbf { x } ) = - gamma _ { j } ( mathbf { x } )
]
[gamma _ { j } ( mathbf { x } ) = sum _ { i = 1 } ^ { c } lambda _ { i j } P left( omega _ { i } | mathbf { x }
ight)
]
- 我们希望判别函数(g_j(x))越大越好，也就是相应的风险函数(gamma_j(x))越小越好。
5. 总结
- 本博客只介绍了部分贝叶斯分类器准则，关于正态分布的贝叶斯分类器没有介绍。
- 根据最小错误率准则，或最小平均风险准则，不难看出，贝叶斯分类器是生成式模型，不能构造一个区分不同类别的判别函数，而是考察待识别模式由不同类别所产生的概率，最后根据不同类别产生该模式的概率大小来决定他的类别属性。后续博客会介绍其他的判别式模型，关于生成式模型与判别式模型的区别可以看我以前的博客生成模型(generative model)与判别模型(discriminative model)的区别。