马尔可夫链
简介
马尔可夫过程：设({X(t),t in T})是一个随机过程，如果({X(t),t in T})在(t_{0})时刻所处的状态为未知时，以后的状态与它在(t_{0})时刻之前所处的状态无关，则称({X(t),t in T})具有马尔可夫性，具有这种性质的随机过程就叫做马尔可夫过程。
马尔可夫链：数学中具有马尔可夫性质的离散事件随机过程。即：
[P({X_{n+1}=j|X_{n}=i,X_{n-1}=i_{n-1},...,X_{1}=i_{1},X_{0}=i_{0}})
]
[=P(X_{n+1}=j|X_{n}=i)
]
[=p_{ij}
]
马尔可夫链是满足下面两个假设的一种随机过程：
- t+1时刻系统状态的概率分布只与t时刻的状态有关，与t时刻以前的状态无关
- 从t时刻到t+1时刻的状态转移与t的值无关
马尔可夫链可以用三元组（S，P，Q）来表示，其中S是状态集合，P是状态转移矩阵，Q是初始状态概率分布
随机游走与马尔可夫链
图上的随机游走是指给定一个图和一个出发点，随机的选择一个邻居节点，移动到邻居节点。然后把当前节点当做出发点。重复以上过程。那些被随机选出的节点序列就构成了一个在图上随机游走的过程。
它是一种概率论与图的结合。
随机游走是马尔科夫链的例子。
将马尔科夫链表达为有向图或无向图，定点表示状态，从定点x到y的边带有权重pxy
马尔科夫链是联通的，是指所对应的图是强连通图，即任意定点之间都有一条有向路径。
稳态分布（stationary distribution）
图G的概率质量向量（每个顶点有一个概率，G中所有的顶点的概率表示成一个向量就称为概率质量向量）
长期概率分布（long-term probability distribution）
设(p^{(t)})是t步随机游走后的定点概率分布，则long-term probability为
[a^{(t)}=frac{1}{t}*(p^{(0)}+p^{(1)}+...+p^{(t)})
]
如果存在一个唯一的概率向量(pi)，满足(pi *P=pi)（概率质量分布经过转移之后仍然不变）。任意步随机游走都不会改变这个分布，所以(pi)称为平稳分布（stationary distribution）。
细致平稳条件
如果马尔科夫链的转移矩阵P和平稳分布(pi(x))满足
[pi(i)P_{ij}=pi(j)P_{ji}
]
则(pi(x))为马尔可夫链的平稳分布，上式为马尔科夫链的细致平稳条件
基于马尔科夫链的蒙特卡洛方法
蒙特卡洛方法
随机模拟：
- 首先建立一个概率模型或随机过程，然后通过对模型或过程的观察或抽样，然后对样本值进行统计分析，进而得到所研究问题或系统的某些具体参数，统计量等，最后给出所求解的近似值。
- 随机模拟方法是一种应用概率模型和随机变量样例来进行模拟实验的方法，即利用随机数进行计算机模拟的方法，也称为蒙特卡洛法。
- 用蒙特卡洛方法模拟某一个过程时，需要产生某一概率分布的随机变量（抽样）。
利用马尔科夫链解决蒙特卡洛的数据采样问题。让(pi)成为P(x)。