朴素贝叶斯与贝叶斯网络

朴素贝叶斯与贝叶斯网络

标签（空格分隔）： 机器学习

---

朴素贝叶斯

朴素贝叶斯朴素在哪里呢？ —— 两个假设

• 一个特征出现的概率与其他特征（条件）独立；
• 每个特征同等重要。

朴素贝叶斯分类器

(P(c|x) = frac{P(c)P(x|c)}{P(x)} = frac{P(x)}{P(x)}Pi_{i=1}^{d}P(x_{i}|c))
1）计算先验概率及条件概率；
2）对于给定的实例，用贝叶斯公式计算后验概率。
在计算类条件概率时，如果不加平滑因子，则是利用极大似然估计；
如果加上平滑因子，就是拉普拉斯平滑。

一个贝叶斯决策的例子

现在有两个袋子，袋子X中装有2颗红球和2颗黑球，还有1美元；袋子Y中装有1颗红球和2颗黑球。在选择袋子之前，可以从任意一个袋子中选择一个小球，如果摸出来的是红球，应该选哪个袋子？如果摸出来的是黑球。又应该选择哪个袋子？

• 用R表示红球，用B表示黑球。
• 选择每个袋子的概率：(P(X) = frac{1}{2}, P(Y) = frac{1}{2});
• 选择了袋子X的条件下摸到红球的概率：(P(R|X) = frac{1}{2}),摸到黑球的概率：(P(B|X) = frac{1}{2});
• 选择了袋子Y的条件下摸到红球的概率：(P(R|Y) = frac{1}{3}),摸到黑球的概率：(P(B|Y) = frac{2}{3});
• 由全概率公式：摸到红球的概率(P(R) = P(R|X)P(X) + P(R|Y)P(Y) = frac{5}{12}); 摸到黑球的概率为(P(B) = P(B|X)P(X) + P(B|Y)P(Y) = frac{7}{12});
• 由贝叶斯公式：
• 摸到红球时，是袋子X的概率为：(P(X|R) = frac{P(R|X)P(X)}{P(R)} = frac{3}{5});
• 摸到红球时，是袋子Y的概率为：(P(Y|R) = frac{P(R|Y)P(Y)}{P(R)} = frac{2}{5});
• 摸到黑球时，是袋子X的概率为：(P(X|B) = frac{P(B|X)P(X)}{P(B)} = frac{3}{7});
• 摸到黑球时，是袋子Y的概率为：(P(Y|B) = frac{P(B|Y)P(Y)}{P(B)} = frac{4}{7}).
• 所以摸到的球是红色时，选择这个袋子；摸到的球是黑色时，选择另外一个袋子。

图模型

根据是否是有向图，可以分为有向图模型和无向图模型。
有向图模型（又称为贝叶斯网络）：包含隐马尔科夫模型，马尔科夫随机过程；
无向图模型（又称为马尔科夫网络）：条件随机场等

贝叶斯网络

朴素贝叶斯可以看做是贝叶斯网络的特殊情况：即该网络中无边，各个节点都是独立的。
那么，当朴素贝叶斯中的强假设：独立同分布不成立时，应该如何解决呢？可以使用贝叶斯网络。
贝叶斯网络借助有向无环图来刻画属性之间的依赖关系，并使用条件概率表来描述属性的联合概率分布。
贝叶斯网络的学习主要包括3部分：贝叶斯网络(B)由结构(G)和参数( heta)构成，即(B = <G, heta>)

• 结构，即创建贝叶斯模型；建模型通过领域知识和数据本身得出。
• 学习，即估计模型中的参数；
• 推断，即作出最后的决策。