- 可以用于比较复杂的分布的采样，并且在高维空间中也能使用
- 马尔可夫蒙特卡洛法
- 蒙特卡洛法：基于采样的数值型近似求解方法
- 马尔可夫链：用于采样
- MCMC基本思想
- 针对目标分布，构造一个马尔可夫链，使得该马尔可夫链的平稳分布就是目标分布
- 从任何一个初始状态出发，沿着马尔可夫链进行转移
- 最终的状态转移序列会收敛到目标分布，得到一系列样本
- 核心点：构造马尔可夫链、确定状态转移序列
Metropolis-Hastings采样法
对于目标分布(p(x))，选择一个易采样的参考条件分布(q(x^*|x))，并令
[A(x, x^*) = mathop{min} {1, frac{p(x^*)q(x|x^*)}{p(x)q(x^*|x)} }
]
然后根据如下过程进行采样
- 随机选一个初始样本(x^{(0)})
- For t = 1, 2, 3,,,,,,
- 根据参考条件分布(q(x^{*}|x^{(t-1)}))抽取一个样本(x^{*})
- 根据均匀分布(U(0,1))产生随机数(u)
- 若(u < A(x^{(t-1)}, x^*))，则令(x^{(t)} = x^*)，否则令(x^{(t)} = x^{(t-1)})
- 样本序列({ dots, x^{(t-1)}, x^{(t)} })最终会收敛到目标分布(p(x))
- (A)就是转移概率，(x)之间构成马尔可夫链
吉布斯采样法
- Metropolis-Hastings算法的特例
- 核心思想：每次只对样本的一个维度进行采样和更新
- 对于目标分布(p(x))，其中(x=(x_1, cdots, x_d))是多维向量，按如下过程采样：
- 随机选择初始状态(x^{(0)}=(x_1^{(0)}, cdots, x_d^{(0)}))
- (For t = 1, 2, 3, cdots):
- 对于前一步产生的样本(x^{(t-1)} = (x_1^{(t-1)},cdots, x_d^{(t-1)})),依次采样和更新每个维度的值，即依次随机抽取分量(x_1^{(t)} sim p(x_1|x_2^{(t-1)}, x_3^{(t-1)},dots,x_d^{(t-1)}),dots,p(x_d|x_1^{(t)}, x_2^{(t)},dots,x_{d-1}^{(t)}))
- 形成新的样本(x^{(t)} = (x_1^{(t)}, cdots, x_d^{(t)}))
- 每个维度的采样都是从以其他维度为条件的条件概率中采样的。该条件分布包含本轮已经采样的维度或者上轮采样的维度
- 每个维度的抽样和更新，可以是随机顺序
特点
- 与拒绝采样不同，MCMC采样法每一步都会产生一个新的样本，只是有时候这个样本与之前的样本一样而已
- “burn-in"处理：截除掉序列中最开始的一部分样本
得到相互独立样本
- MCMC采样法得到的样本序列中相邻样本不独立(马尔可夫链)
- 仅仅是采样的话，不需要样本之间相互独立
- 产生独立同分布的样本：
- 同时运行多条马尔可夫链
- 同一条马尔可夫链上每隔若干个样本取一次，近似独立