贝叶斯网络

贝叶斯网络定了这样一个独立的结构：一个节点的概率仅依赖于它的父节点。贝叶斯网络更加适用于稀疏模型，即大部分节点之间不存在任何直接的依赖关系。

联合概率，即所有节点的概率，将所有条件概率相乘：

我们最终的目标是计算准确的边缘概率，比如计算Hangover的概率。在数学上，边缘概率被定义为各种状态下系统所有其他节点对本节点影响的概率的和。

边缘概率

优化

接下来就是要获得观测变量 x_h  的估计，需要使 p(x_h)的值最大， 即：

 

如果贝叶斯网络比较小，我们可以很简单的做边缘求和运算，但是如果问题规模较大，整个运算复杂度和数据将会以指数级增长。而利用BP算法去计算这样的网络问题，可以使得运算复杂度只和节点数线性相关。在这种意义上，BP 算法在大型贝叶斯网络推断问题中扮演着越来越重要的作用。