Markov 随机过程

马尔可夫链

引言

本文主要讲解马尔可夫链以及隐马尔科夫链的相关知识

第一节 离散马尔可夫模型

考虑在每一个时间段有一个值的随机过程。令(X_n)表示它在时间段(n)的值，假设我们要对一些列相继的值(X_0, X_1, X_2,···) 建立概率模型。令 ({X_n, n=0,1,2, ···}) 是有限个值或可数个值的随机过程， 这个随机过程的可能值的集合记为非负整数集合 ({0,1,2,···}) 即在任意时刻(X_iin{0,1,2,···}), 如果在时刻(t), (X_n = i),那么称该过程在(t)时刻在状态(i),我们假设只要过程在状态 (i)， 就有一个固定的概率 (P_{i,j}) 使得它在下一个状态在 (j) 。即我们假设对于一切状态 (i_0, i_1, i_2,···, i_{n-1}, i, j) 与一切 (n geq 0) ，有

[P{X_{n+1}=j|X_n=i,X_{n-1}=i_{n-1},···,X_1=i_1,X_0=i_0}=P{X_{n+1}=j|X_{n}=i}=P_{i,j} ag{1.1} ]

这样的随机过程叫做马尔可夫链。
(P_{i,j}) 表示过程处于 (i) 时下一次转移到状态 (j) 的概率。由于概率都是非负，并且过程必须要转移到某一个状态，因此有：

(P_{i,j}geq0, i,jgeq0);       (sum_{j}^{infty}P_{ij}=1, i=0,1,···)

举个例子

（天气预报） 假设明天下雨的机会只依赖于前一天的天气条件，即今天是否下雨只依赖昨天是否下雨，这里状态集就是 (S={下雨，不下雨}) 为了方便，我们可以把下雨记为 (0) ，不下雨记为 (1) 即状态集为： (S={0,1}) 如果今天下雨，那么明天下雨的概率为 (0.7) 如果今天不下雨，那么明天下雨的概率为 (0.6) 。这样我们可以定义一个转移矩阵(P) :

[P= left[ egin{matrix} 0.7 & 0.3 \ 0.6 & 0.4 end{matrix} ight] ag{1.2} ]

从这个转移矩阵中我们可以很容易的看出(P_{0,0}=0.7, P_{0,1}=0.3,···)

第二节 C-K方程

我们已经定义了一步转移概率(P_{i,j}).现在我们定义(n)步转移概率 (P_{i,j}^{n}) ,即处于状态 (i) 的过程将在 (n) 次转移之后处于状态 (j) 的概率,即:

[P_{ij}^{n} = P{X_{n+k}=j|X_k=i}, ngeq0, i,j geq 0 ]

C-K方程（查普曼-科尔莫格罗夫方程)提供了计算 (n) 步转移概率的一个方法.这些方程是:

[P_{ij}^{n+m}=sum_{k=0}^{infty}P_{ik}^{n}P_{kj}^{m} 对于一切 n, m geq 0, 一切i,j ag{2.1} ]

其具体推导过程如下：

[egin{split} P_{ij}^{n+m}=P{X_{n+m}=j|X_0=i}=sum_{k=0}^{infty}P{X_{n+m}=j,X_n=k|X_0=i} = sum_{k=0}^{infty}P{X_{n+m}=j|X_n=k,X_0=i}=sum_{k=0}^{infty}P_{kj}^{m}P_{ik}^{n} end{split} ]

这个很容易理解,只要注意到 (P_{ik}^{n}P_{kj}^{m}) 表示，通过一条第 (n) 次转移处于状态 (k) 的通道，开始处在状态 (i) 的过程经过(n+m)次转移至状态(j)的概率。因此对于所有的中间状态求和就得到这个过程在(n+m)次转移后处于状态(j)的概率。
(例) 在假设今天下雨而明天不下雨的概率是 (0.7) , 今天不下雨而明天下雨的概率是 (0.4)
, 假设今天下雨,计算从今天开始的第 (4) 天下雨的概率.

解
一步转移概率矩阵为:

[P= left[ egin{matrix} 0.7 & 0.3 \ 0.6 & 0.4 end{matrix} ight] ]

因此

[ P^{(2)} = P^2 = left[ egin{matrix} 0.7 & 0.3 \ 0.4 & 0.6 end{matrix} ight] left[ egin{matrix} 0.7 & 0.3 \ 0.4 & 0.6 end{matrix} ight] = left[ egin{matrix} 0.61 & 0.39 \ 0.52 & 0.48 end{matrix} ight] ]

[ egin{split} P^{(4)} = (P^2)^{2} = left[ egin{matrix} 0.5749 & 0.39 \ 0.5668 & 0.4332 end{matrix} ight] end{split} ]

而要求的概率 (P_{00}^{4}=0.5749)