一、引入
吉布斯采样也是用于高维空间的采样方法。
假设二维联合概率分布$pi(x_{1},x_{2})$在二维空间里有两个点，分别是$A(x_{1}^{1},x_{2}^{1})$和$B(x_{1}^{1},x_{2}^{2})$，这两个点的第一个维度取值相同，放在直角坐标系上看，它们两的连线构成一条垂线。有如下成立：
$pi (x_{1}^{1},x_{2}^{1})pi (x_{2}^{2}mid x_{1}^{1})=pi (x_{1}^{1})pi (x_{2}^{1}mid x_{1}^{1})pi (x_{2}^{2}mid x_{1}^{1})$
$pi (x_{1}^{1},x_{2}^{2})pi (x_{2}^{1}mid x_{1}^{1})=pi (x_{1}^{1})pi (x_{2}^{2}mid x_{1}^{1})pi (x_{2}^{1}mid x_{1}^{1})$
$pi (x_{1}^{1},x_{2}^{1})pi (x_{2}^{2}mid x_{1}^{1})=pi (x_{1}^{1},x_{2}^{2})pi (x_{2}^{1}mid x_{1}^{1})$
即$pi (A)pi (x_{2}^{2}mid x_{1}^{1})=pi (B)pi (x_{2}^{1}mid x_{1}^{1})$
结论为：在$x_{1}=x_{1}^{1}$这条直线上，若用条件概率分布$pi (x_{2}mid x_{1}^{1})$作为马尔可夫链的转移矩阵，则任意两点之间的转换满足细致平稳条件。更进一步的说明转移矩阵中的元素如下：
$P(A ightarrow B)=pi (x_{2}^{B}mid x_{1}^{1}),if x_{1}^{A}=x_{1}^{B}=x_{1}^{1}$
$P(A ightarrow C)=pi (x_{1}^{C}mid x_{2}^{1}),if x_{2}^{A}=x_{2}^{C}=x_{2}^{1}$
$P(A ightarrow D)=0,else$
其实就是说，一个点，和它垂直或水平方向的另一个点，都满足细致平稳条件。二维空间中任意两个这样的点，至多通过两步就能达到，所以说平面上任意两个点都满足细致平稳条件。
二、二维吉布斯采样步骤
二维吉布斯采样的过程就像一个固执的小人，他可以到达平面上任意一点，但他只往水平或垂直方向走。它交替的固定某一维度，然后通过其他维度的值来抽样该维度的值，把采的路径画出如下所示：
具体步骤为：
1）初始拥有：平稳分布$pi(x_{1},x_{2})$，转移次数$n_{1}$，所需样本数$n_{2}$
2）任意采样初始状态值$x_{1}^{0}$，$x_{2}^{0}$
3）$for t=0 to n_{1}+n_{2}-1$：
a）从条件概率分布$Pleft ( x_{2}mid x_{1}^{t} ight )$中采样得到样本$x_{2}^{t+1}$
b）从条件概率分布$Pleft ( x_{1}mid x_{2}^{t+1} ight )$中采样得到样本$x_{1}^{t+1}$
c）从条件概率分布$Pleft ( x_{2}mid x_{1}^{t+1} ight )$中采样得到样本$x_{2}^{t+2}$
以上过程反复进行，整个采样过程为$(x_{1}^{1},x_{2}^{1}) ightarrow (x_{1}^{1},x_{2}^{2}) ightarrow (x_{1}^{2},x_{2}^{2}) ightarrow (x_{1}^{2},x_{2}^{3})$
最后得到样本集为$(x_{1}^{n_{1}},x_{2}^{n_{1}}),(x_{1}^{n_{1}+1},x_{2}^{n_{1}+1}),(x_{1}^{n_{1}+2},x_{2}^{n_{1}+2}),..,(x_{1}^{n_{1}+n_{2}-1},x_{2}^{n_{1}+n_{2}-1})$
三、多维吉布斯采样
对于n维联合概率分布$pi(x_{1},x_{2},x_{3},x_{4},..,x_{n-1},x_{n})$，我们可以通过在n个坐标轴上轮换来采样，就像上面二维空间一样，二维空间是横坐标和纵坐标交替采样，在n维里就是固定n-1个其他的维度，在某一个维度上进行移动。对于轮换到的任意一个坐标轴上的转移，马尔可夫链的状态转移概率为$Pleft ( x_{i}mid x_{1},x_{2},...,x_{i-1},x_{i+1},...,x_{n} ight )$。采样过程具体如下：
1）初始拥有：平稳分布$pi(x_{1},x_{2},x_{3},x_{4},..,x_{n-1},x_{n})$，转移次数$n_{1}$，所需样本数$n_{2}$
2）随机初始状态值$x_{1}^{0},x_{2}^{0},x_{3}^{0},...,x_{n}^{0},$
3）$for t=0 to n_{1}+n_{2}-1$：
a）从条件概率分布$Pleft ( x_{1}mid x_{2}^{t},...,x_{i-1}^{t}...,x_{n}^{t} ight )$中采样得到样本$x_{1}^{t+1}$
b）从条件概率分布$Pleft ( x_{2}mid x_{1}^{t+1},x_{2}^{t},...,x_{i-1}^{t},...,x_{n}^{t} ight )$中采样得到样本$x_{2}^{t+1}$
c）从条件概率分布$Pleft ( x_{3}mid x_{1}^{t+1},x_{2}^{t+1},...,x_{i-1}^{t},x_{i+1}^{t},...,x_{n}^{0} ight )$中采样得到样本$x_{3}^{t+1}$
.....
j）从条件概率分布$Pleft ( x_{j}mid x_{1}^{t+1},x_{2}^{t+1},...,x_{j-1}^{t+1},...,x_{n}^{t} ight )$中采样得到样本$x_{j}^{t+1}$
...
n）从条件概率分布$Pleft ( x_{n}mid x_{1}^{t+1},x_{2}^{t+1},...,x_{n-1}^{t+1},x_{n}^{t} ight )$中采样得到样本$x_{n}^{t+1}$