这里不讲定量的公式。(由于我也没全然弄明确。不想误人子弟)仅仅谈高速定性理解。
隐Markov模型原理
隐Markov模型(Hidden Markov Model。HMM)的实质就是:已知几种原始分类,预測未知原始分类的观測状态的原始分类的过程。其应用是求观測状态到分类的近似最大似然预计。近似是由于理论最大的实际计算量太大,无法做,所以找了个优化求近似最优的方法,简称EM算法。
一个直观理解的样例:
问题题干:
设某人在3个装有红白两种颜色球的盒子中,任取一个盒子,然后在此盒子中连续抽取m次,每次抽取且记录颜色之后放回盒子里。假定各个盒子的内容分别为:
红球数 白球数
盒1 90 10
盒2 50 50
盒3 40 60
如今得到一个记录(红。红。红,红。白)(即m=5) 。可是不告诉我们球出自哪个盒子,该怎样猜測是从哪个盒子取出的观測样本呢?
问题分析:
已知三种原始分类,预測未知原始分类的观測状态(红,红。红,红,白)的原始分类的过程。每次概率是固定的,直观感受,出现该记录最大可能是出自盒1。
HMM隐Markov的基本思想就是这么简单。
略微变一下题目,如果三种盒子里抽取方式不同。即
红球数 白球数 抽取方式
盒1 90 10 随机取。记下颜色后不放回
盒2 50 50 随机取,记下颜色后放回
盒3 40 60 随机取,记下颜色后不放回,并放入一个红球
则问题变成了盒1和盒3的每次抽取的样本概率受上次抽取状态的决定,与更之前的状态无关。
无论问题怎么变复杂。都是从已知原始分类(先验知识),根据概率理论。预測观測样本到原始分类的问题。
隐Markov模型的应用
语音识别:音素相应上例中的球
手写体汉字识别:像素相应上例中的球
实际处理过程中会先预处理,得到保持特征不变性的量,而不是简单的音素、像素。
补充
1、EM:E步骤。求期望,M步骤。求最大值。针对在測量数据不全然时,一种近似最大似然预计的统计方法。
2、隐Markov模型扩展:刚才讲的都是简单离散概率模型的隐Markov模型,实际情况能够推广到连续随机变量。典型的有正态分布、Gamma分布,或者某些混合分布等。
比方最常写在一起的GMM-HMM。即高斯混合模型-隐形马尔科夫模型。该模型即是卷积神经网络的基础。
3、GMM-HMM的语音识别应用,參考http://blog.csdn.net/abcjennifer/article/details/27346787
4、GMM即多变量的高斯模型。在机器学习的异常检測中也用到。能够參考http://blog.csdn.net/lonelyrains/article/details/49861491