统计学习方法 李航---第10章 隐马尔可夫模型

第10章隐马尔可夫模型

隐马尔可夫模型(hidden Markov model, HMM)是可用于标注问题的统计学习模型，描述由隐藏的马尔可夫链随机生成观测序列的过程，属于生成模型。

10.1 隐马尔可夫模型的基本概念

定义10.1 (隐马尔可夫模型) 隐马尔可夫模型是关于时序的概率模型，描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测而产生观测随机序列的过程。隐藏的马尔可夫链随机生成的状态的序列，称为状态序列(state sequence)：每个状态生成一个观测，而由此产生的观测的随机序列，称为观测序列(observation sequenoe )。序列的每一个位置又可以看作是一个时刻。

隐马尔可夫模型由初始概率分布、状态转移概率分布以及观测概率分布确定。隐马尔可夫模型的形式定义如下

设Q是所有可能的状态的集合，V是所有可能的观侧的集合.

其中，N是可能的状态数，M是可能的观测数.

I是长度为T的状态序列，O是对应的观测序列.

A是状态转移概率矩阵:

是在时刻t处于状态q_i的条件下在时刻t+1转移到状态q_j的概率。

B是观测概率矩阵:

是在时刻t处于状态q_j的条件下生成观测v_k的概率。

n是初始状态概率向量:

是时刻t=1处于状态q_i的概率。

隐马尔可夫模型兄可以用三元符号表示，即

隐马尔可夫模型由初始状态概率向量pi、状态转移概率矩阵A和观测概率矩阵B决定。A，B，pi称为隐马尔可夫模型的三要素。

状态转移概率矩阵A与初始状态概率向量pi确定了隐藏的马尔可夫链，生成不可观测的状态序列。

观测概率矩阵B确定了如何从状态生成观测，与状态序列综合确定了如何产生观测序列。

隐马尔可夫模型作了两个基本假设：

(1) 齐次马尔可夫性假设，即假设隐藏的马尔可夫链在任意时刻t的状态只依赖于其前一时刻的状态，与其他时刻的状态及观测无关，也与时刻t无关

(2) 观测独立性假设，即假设任意时刻的观测只依赖于该时刻的马尔可夫链的状态，与其他观测及状态无关.

隐马尔可夫模型可以用于标注，这时状态对应着标记。标注问题是给定观测的序列预测其对应的标记序列可以假设标注问题的数据是由隐马尔可夫模型生成的。这样我们可以利用隐马尔可夫模型的学习与预测算法进行标注。

根据隐马尔可夫模型定义，可以将一个长度为T的观测序列，其生成过程描述如下:

隐马尔可夫模型的3个基本问题

(1)概率计算问题。给定模型和观测序列O=(o₁,o₂,... ,o_T)，计算在模型lamda之下观测序列O出现的概率。

(2)学习问题。己知观测序列O=(o₁,o₂,... ,o_T)，估计模型参数，使得在该模型下观测序列概率最大。即用极大似然估计的方法估计参数。

(3)预测问题，也称为解码(decoding)问题。己知模型和观测序列O=(o₁,o₂,... ,o_T)，求对给定观测序列条件概率P(I | O)最大的状态序列I=(i₁,i₂,... ,i_T)，即给定观测序列，求最有可能的对应的状态序列。

10.2 概率计算算法

直接计算法

按概率公式直接计算通过列举所有可能的长度为T的状态序列I=(i₁,i₂,... ,i_T)，求各个状态序列I与观测序列O=(o₁,o₂,... ,o_T)

的联合概率，然后对所有可能的状态序列求和，得到。

    但是，计算量很大，是O(TN^T)阶的，这种算法不可行。

前向-后向算法(forward-backward algorithm)

前向算法

定义10.2 (前向概率) 给定隐马尔可夫模型，定义到时刻t部分观测序列o₁,o₂,... ,o_t且状态为q_i的概率为前向概率，记作

可以递推地求得前向概率及观测序列概率

步骤(1)初始化前向概率，是初始时刻的状态i₁=q_i和观测o₁的联合概率。

步骤(2)是前向概率的递推公式，计算到时刻t+1部分观测序列为o₁,o₂,... ,o_t ,o_t+1且在时刻t+1处于状态q_i的前向概率，如图10.1所示。

a_i(j)是到时刻t观测到o₁,o₂,... ,o_t并在时刻t处于状态q_j的前向概率，那么乘积a_i(j)a_ji就是到时刻t观测到o₁,o₂,... ,o_t在在时刻t处于状态q_j而在时刻t+1到达状态q_i的联合概率。对这个乘积在时刻t的所有可能的N个状态q_j求和，其结果就是到时刻t观测为o₁,o₂,... ,o_t并在时刻t+1处于状态q_i的联合概率。方括弧里的值与观测概率b_i(o_t+1)的乘积恰好是到时刻t+1观测到

o₁,o₂,... ,o_t ,o_t+1且在时刻t+1处于状态q_i的前向概率。

步骤(3)：

因为 

所以

前向算法实际是基于“状态序列的路径结构”递推计算的算法。前向算法高效的关键是其局部计算前向概率，然后利用路径结构将前向概率“递推”到全局，得到。具体地，在时刻t=1，计算a₁(i)的N个值(i=1,2,...,N)；在各个时刻t=1,2,...,T-1，计算a_t+1(i)的N个值(i=1,2,...,N)，而且每个a_t+1(i)的计算利用前一时刻a_i(j)。

减少计算量的原因在于每一次计算直接引用前一个时刻的计算结果，避免重复计算。利用前向概率计算的计算量是O(N²T)阶的，而不是直接计算的O(TN^T)阶。

后向算法

定义10.3 (后向概率) 给定隐马尔可夫模型，定义在时刻t部状态为q_i的条件下，从t+1到T的部分观测序列为o_t+1,o_t+2 ,... ,o_T的概率为后向概率，记作

可以递推地求得后向概率及观测序列概率

步骤(1)初始化初始化后向概率，对最终时刻的所有状态q_i规定。

步骤(2)是后向概率的递推公式，如图10.3所示，为了计算在时刻t部状态为q_i的条件下，从t+1到T的部分观测序列为o_t+1,o_t+2 ,... ,o_T的后向概率。只需考虑在时刻t十1所有可能的N个状态q_j的转移概率(即a_ij项)，以及在此状态下的观测o_t+1的观测概率(即b_j(o_i+1)项)，然后考虑状态q_j之后的观测序列的后向概率(即项)。

步骤(3)求解的思路与步骤(2)一致，只是初始概率代替转移概率.

利用前向概率和后向概率的定义可以将观测序列概率统一写成

此式当t=1和t=T-1时分别为式(10.17)和式(10.21)。

一些概率与期望值的计算

给定隐马尔可夫模型和观测O，利用前向概率和后向概率，可以得到关于单个状态和两个状态概率的计算公式，

（1）在时刻t处于状态q_i的概率。记

由前向和后向概率的定义可知，

所以

（2）在时刻t处于状态q_i的概率且在时刻t+1处于状态q_j的概率。记

根据前后向概率计算：

所以

（3）将（1）和（2）中的概率对各个时刻t求和，可以得到一些有用的期望值

在观测O下状态i出现的期望值：

在观测O下由状态i转移的期望值：

在观测O下由状态i转移到状态j的期望值：

10.3 学习算法

隐马尔可夫模型的学习，根据训练数据是包括观测序列和对应的状态序列还是只有观测序列，可以分别由监督学习与非监督学习实现.

监督学习算法

假设已给训练数据包含S个长度相同的观测序列和对应的状态序列｛(O₁,I₁),...,(O_S,I_S)｝，利用极大似然估计法来估计隐马尔可夫模

型的参数。

（1）转移概率a_ij的估计
  设样本中时t处于状态i时刻t+1转移到状态j的频数为A_ij，那么状态转移概率的估计是

（2）观测概率b_j(k)的估计

设样本中状态为j并观测为k的频数是B_jk，那么状态为j观测为k的概率的估计是

（3）初始状态概率的估计为S个样本中初始状态为q_i的频率

非监督学习算法--Baum-Welch算法（即EM算法）

假设给定训练数据只包含S个长度为T的观测序列｛O₁,...,O_S)｝而没有对应的状态序列，目标是学习隐马尔可夫模型的参数。将观测序列数据看作观测数据O，状态序列数据看作不可观测的隐数据I，那么隐马尔可夫模型事实上是一个含有隐变量的概率模型

它的参数学习可以由EM算法实现。

完全数据由观测数据和隐数据组成（O，I）=(o₁,o₂,... ,o_T,i₁,i₂,... ,i_T)，对数似然函数是

EM算法的E步：求Q函数

EM算法的M步：极大化Q函数求模型参参数：极大似然函数可得，

利用之前求得的概率表示，可得算法详细如下：

10.4 预测算法

隐马尔可夫模型预测的两种算法：近似算法与维特比算法(Viterbi algorithm)

近似算法

近似算法的想法是：在每个时刻t选择在该时刻最有可能出现的状态i_t^*，得到一个状态序列作为预测的结果。

在每一时刻t最有可能的状态i_t^*通过下式得到：

近似算法的优点是计算简单，其缺点是不能保证预测的状态序列整体是最有可能的状态序列，因为预测的状态序列可能有实际不发生的部分。该方法得到的状态序列中有可能存在转移概率为0的相邻状态

维特比算法

维特比算法实际是用动态规划解隐马尔可夫模型预侧问题，即用动态规划(dynamic programming)求概率最大路径(最优路径)。一条路径对应着一个状态序列。

根据动态规划原理，最优路径具有这样的特性：如果最优路径在时刻t通过结点i_t^*，那么这一路径从结点i_t^*到终点i_T^*的部分路径，对于从i_t^*到i_T^*的所有可能的部分路径来说，必须是最优的。依据这一原理，我们只需从时刻t=1开始，递推地计算在时刻t状态为i的各条部分路径的最大概率，直至得到时刻t=T状态为i的各条路径的最大概率。时刻t=T的最大概率即为最优路径的概率P^*。

最优路径的终结点i_T^*也同时得到。之后，从终结点i_T^*开始，由后向前逐步求得结点i_T-1^* , ... , i₁^*。