隐马尔可夫模型

在概率模型中，利用已知变量推测未知变量的分布称为“推断”，其核心是如何基于可观测变量推测出位置变量的条件分布。

概率图模型是一类用图来表达变量相关关系的概率模型。它以图为表示工具，最常见的使用一个结点表示一个或一组随机变量，结点之间的边表示变量间的概率相关关系，即“变量关系图”。根据边的性质不同，概率图模型可大致分为两类：

• 第一类是使用有向无环图表示变量间的依赖关系，称为有向图模型或贝叶斯网；
• 第二类是使用无向图表示变量之间的相关关系，称为无向图模型或马尔可夫网。

隐马尔科夫模型（Hidden Markov Model，简称HMM）是结构最简单的动态贝叶斯网，这是一种著名的有向图模型，主要用于时序数据建模，在语音识别、自然语言处理等领域有广泛应用。

隐马尔科夫模型中的变量可分为两组。第一组是状态变量,其中表示第时刻的系统状态.通常假定状态变量是隐藏的,不可被观测的,因此状态变量亦称隐变量.第二组是观测变量,其中表示第时刻的观测值。在隐马尔科夫模型中，系统通常在多个状态之间转换，因此状态变量的取值范围（称为状态空间）通常是有个可能取值的离散空间。观测变量可以是离散型也可以是连续型，为便于讨论，我们仅考虑离散型观测变量，并假定其取值范围为.

图 14.1  隐马尔可夫模型的图结构

图14.1中的箭头表示了变量间的依赖关系。在任何时刻，观测变量的取值仅依赖于状态变量，即由确定,与其他状态变量及观测变量的取值无关.同时,时刻的状态仅依赖于时刻的状态,与其余个状态无关.这就是所谓的"马尔可夫链"(Markov chain)，即：系统下一时刻的状态仅由当前状态决定，不依赖于以往的任何状态。基于这种依赖关系，所有变量的联合概率分布为

除了结构信息，欲确定一个隐马尔可夫模型还需以下三组参数：

• 状态转移概率:模型在各个状态间转换的概率,通常记为矩阵,其中

表示在任意时刻,若状态为,则在下一时刻状态为的概率.

• 输出观测概率:模型根据当前状态获得各个观测值的概率,通常记为矩阵,其中

表示在任意时刻,若状态为,则观测值被获取的概率.

• 初始状态概率:模型在初始时刻各状态出现的概率,通常记为,其中

表示模型的初始状态为的概率。

通过指定状态空间、观测空间和上述三组参数，就能确定一个隐马尔可夫模型，通常用其参数来指代. 给定隐马尔可夫模型,它按如下过程产生观测序列:

1. 设置,并根据初始状态概率选择初始状态;
2. 根据状态和输出观测概率选择观测变量取值;
3. 根据状态和状态转移矩阵转移模型状态，即确定;
4. 若,设置,并转到第2步,否则停止.

其中和分别为第时刻的状态和观测值.