Atitit 马尔可夫过程（Markov process） hmm隐马尔科夫。 马尔可夫链，的原理attilax总结

Atitit 马尔可夫过程（Markov process） hmm隐马尔科夫。 马尔可夫链，的原理attilax总结

 

_{1. 马尔可夫过程}1

1.1. 马尔科夫的应用 生成一篇“看起来像文章的随机文本”。1

2. 隐马尔科夫过程1

3. 隐马模型基本要素及基本三问题2

4. 维特比算法2

5. 应用 HMM一开始是在信息论中应用的，后来才被应用到自然语言处理还有其他图像识别等各个2

6. 扩展数学之美系列十九 -- 马尔可夫链的扩展 贝叶斯网络 (Bayesian Networks)2

6.1. 马尔可夫链 (MarkovChain)， 它描述了一种状态序列，其每个状态值取决于前面有限个状态。3

6.2. 上述的有向图看 成一个网络，它就是贝叶斯网络3

6.3. 参考资料4

 

1. _{马尔可夫过程}

 编辑

马尔可夫过程（Markov process）是一类随机过程。它的原始模型马尔可夫链，由俄国数学家A.A.马尔可夫于1907年提出。该过程具有如下特性：在已知目前状态 （现在）的条件下，它未来的演变 （将来）不依赖于它以往的演变 ( 过去 ) 。 例如森林中动物头数的变化构成——马尔可夫过程 。在现实世界中，有很多过程都是马尔可夫过程，如液体中微粒所作的布朗运动、传染病受感染的人数、车站的候车人数等，都可视为马尔可夫过程

 

1.1. 马尔科夫的应用 生成一篇“看起来像文章的随机文本”。

先稍稍介绍下马尔可夫链，简单地说就是输入一篇文章（其实是单词序列），建立前缀表后缀表，然后根据前缀随机选择后缀，如此迭代，生成一篇“看起来像文章的随机文本”。当然这只是马尔可夫链的一个应用，不过也算挺典型的。我曾经在开发一些应用的时候用类似的程序来生成测试数据。 

2. 隐马尔科夫过程

与马尔科夫相比，隐马尔科夫模型则是双重随机过程，不仅状态转移之间是个随机事件，状态和输出之间也是一个随机过程，如下图所示：

 

3. 隐马模型基本要素及基本三问题

综上所述，我们可以得到隐马尔科夫的基本要素，即一个五元组{S,N,A,B,PI}；

S：隐藏状态集合；

N：观察状态集合；

A：隐藏状态间的转移概率矩阵；

B：输出矩阵（即隐藏状态到输出状态的概率）；

PI：初始概率分布（隐藏状态的初始概率分布）；

其中，A,B,PI称为隐马尔科夫的参数，用X表示。

 

4. 维特比算法

现在，HMM的第一个基本问题解决了，下面开始解决第二个问题，第二个问题又称为解码问题，同样的，暴力算法是计算所有可能性的概率，然后找出拥有最大概率值的隐藏状态序列。与问题一的暴力解决方案类似，复杂度为O(N^T)。

那应该用什么方案呢？

毫无疑问，还是动态规划啊！

 

 

5. 应用 HMM一开始是在信息论中应用的，后来才被应用到自然语言处理还有其他图像识别等各个

说了这么多，HMM到底有什么应用呢？

HMM一开始是在信息论中应用的，后来才被应用到自然语言处理还有其他图像识别等各个方面。下面举两个例子说明他的应用，一个是输入法的整句解码，一个是语音识别。有图为证：

 

输入法把拼音看做是观察状态，需要得到的汉字为隐藏状态，这样，输入法的整句解码就变成了维特比解码，其转移概率即是二元语言模型，其输出概率即是多音字对应不同拼音的概率。

将上图中的拼音换成语音，就成了语音识别问题，转移概率仍然是二元语言模型，其输出概率则是语音模型，即语音和汉字的对应模型。

6. 扩展数学之美系列十九 -- 马尔可夫链的扩展 贝叶斯网络 (Bayesian Networks)

6.1. 马尔可夫链 (MarkovChain)， 它描述了一种状态序列，其每个状态值取决于前面有限个状态。

这种模型，对很多实际问题来讲是一种很粗略的简化。在现实生活中，很多事物相互的关系并不能用 一条链来串起来。它们之间的关系可能是交叉的、错综复杂的。比如在下图中可以看到，心血管疾病和它的成因之间的关系是错综复杂的。显然无法用一个链来表 示。

 

 

6.2. 上述的有向图看 成一个网络，它就是贝叶斯网络

。其中每个圆圈表示一个状态。状态之间的连线表示它们的因果关系。比如从心血管疾病出发到吸烟的弧线表示心血管疾病可能和吸 烟有关。当然，这些关系可以有一个量化的可信度 (belief)，用一个概率描述。我们可以通过这样一张网络估计出一个人的心血管疾病的可能性。在网络中每个节点概率的计算，可以用贝叶斯公式来进行， 贝叶斯网络因此而得名。由于网络的每个弧有一个可信度，贝叶斯网络也被称作信念网络 (belief networks)。

 

和马尔可夫链类似，贝叶斯网络中的每个状态值取决于前面有限个状态。不同的是，贝叶斯网络比马尔可夫链灵活，它不受马尔可夫链的链状结构的约束，因此可以更准确地描述事件之间的相关性。可以讲，马尔可夫链是贝叶斯网络的特例，而贝叶斯网络是马尔可夫链的推广。

6.3. 参考资料

 

隐马尔科夫模型详解 - - 博客频道 - CSDN.NET.html

GMM-HMM语音识别模型 原理篇 - Rachel Zhang的专栏 - 博客频道 - CSDN.NET.html

(2 条消息) 如何用简单易懂的例子解释隐马尔可夫模型？ - 知乎.html

数学之美系列十九 -- 马尔可夫链的扩展 贝叶斯网络 (Bayesian Networks) - Kevin Yang - 博客园.html

 

作者:: 绰号:老哇的爪子 （ 全名：：Attilax Akbar Al Rapanui 阿提拉克斯 阿克巴 阿尔 拉帕努伊 ） 

汉字名：艾提拉（艾龙），   EMAIL:1466519819@qq.com

转载请注明来源：attilax的专栏   http://www.cnblogs.com/attilax/

--Atiend