隐马尔可夫模型HMM（二）概率计算问题

摘自

1.李航的《统计学习方法》

2.http://www.cnblogs.com/pinard/p/6955871.html

一、概率计算问题

上一篇介绍了概率计算问题是给定了λ（A，B，π），计算一个观测序列O出现的概率，即求P（O|λ）。

用三种方法，直接计算法，前向算法，后向算法。

考虑隐马尔可夫模型（一）中的盒子球模型。

假设Q={1,2,3,4}, V = {红，白}，在给定λ（A，B，π）的条件下，其中:

,  ,      

求O=(红，白，红)的概率。

二、直接计算法

说通俗一点，就是暴力求解，穷举法。

• 所有可能的状态序列I，则状态序列I的概率为P（I|λ）
• 对于固定的状态序列I，则观测序列为O的概率P（O|I，λ）
• 联合概率为P(O，I|λ) = P(O|I，λ)P(I|λ)
• 则最后所求为P(O|λ) = ΣP(O|I,λ)P(I|λ)

状态集合有N个，一共有T个状态序列，所以状态序列的可能性为N^T，每一种状态序列都要相应乘以T个观测概率矩阵，所以最后的时间复杂度为O(TN^T)。

三、前向计算法

记α_i(j)为部分观测序列为o1.....ot切ot状态为q_j的概率。

首先，记alpha_i(j)为第i次观测下状态为j，观测值为O(i)的概率，b_j(i)为j状态下观测值为O(i)的概率, 暂时记i=1为红球，i=2为白球, a_ij为矩阵A中i行j列。

1、第一次观测为红球

2、第二次观测为白球

3、第三次观测

4、最后结果

四、后向计算方法

β_t(i)为On, On-1.... Ot观测序列且在Ot时刻状态为q_i的概率：

 

五、总结

根据前向传播算法，可以得到一些相关概率和期望。

1、给定模型输入λ和观测O，在时刻t处于状态q_i 的概率为γ_t(i)。

（1）记γ_t(i)：

（2）由前向概率和后向概率表达式α和β可得：

（3）因此：

（4）因此得到γ_t(i)

 

2、给定模型λ和观测O，在时刻t处于状态q_i，且在时刻t+1处于状态q_j的概率为ε_t(i, j)。

（1）记ε_t(i, j)：

（2）通过前向后向计算可以得到：

（3）由于：

（4）因此：

3、在观测O下由状态i出现的期望值：

4、在观测O下由状态i转移的期望值

5、在观测O下由状态i转移到状态j的期望值：