概率图模型之间的关系

概率图模型

这篇文章主要想总结一下朴素贝叶斯、最大熵、隐马尔可夫和条件随机场这四个概率图模型之间的一些联系与区别。朴素贝叶斯假设条件独立性，在给定目标值 $y$ 时，$x$ 之间是相互独立的，对于序列来说，它不会去考虑单个位置之间的相互依赖。隐马尔可夫假设观测序列在连续相邻位置间的状态存在依赖，它的缺陷是观测序列中的每个元素都是独立的，而之后条件随机场解决了该问题。

模型类型

从模型类型上来说，朴素贝叶斯和隐马尔可夫都是生成模型，采用生成式方法进行标签生成；最大熵和条件随机场是判别模型，通过将各种特征组合在一起判断标签。

朴素贝叶斯和最大熵

这两个模型都是为了学习条件概率，朴素贝叶斯是最大化后验概率，而最大熵是最大化条件熵。

最大熵和条件随机场

考虑序列标注问题，如果用最大熵求解：

1. 将整个序列标注看作分类问题，如果序列 $y$ 的长度有 $n$ 个，并且序列上的元素共有 $m$ 种状态，那么这个类别一共有 $m^n$ 个。 
2. 每次只考虑一项，一个个预测过去，但是失去了序列中元素的前后顺序关系。

条件随机场的做法是在子序列上定义特征并计算子序列得分，比如 $y_{i-1}, y_i$ ， 这样也就 $m^2$ 种， 这样条件随机场就有效的考虑了上下文信息。

 

 

 

参考：

1. 最大熵模型和条件随机场
2. 条件随机场（CRF）和隐马尔科夫模型（HMM）最大区别在哪里？CRF的全局最优体现在哪里？
3. 谈谈序列标注三大模型HMM、MEMM、CRF