贝叶斯网路的采样

• 贝叶斯网络：信念网络或有向无环图

贝叶斯网络采样

• 祖先采样：根据有向图的顺序，先对祖先节点进行采样，只有当某个节点的所有父节点都已完成采样，才对该节点进行采样
• 祖先采样得到的样本服从联合概率分布

部分随机变量的边缘分布

• 用祖先采样对所有变量进行采样
• 忽视那些不需要的变量的采样值，知道边缘分布

含有观测变量的采样

• 逻辑采样：
  • 利用祖先采样得到所有变量的取值
  • 如果这个样本在观测变量上的取值和实际观测值一样，则接受，否则拒绝，重新采样
  • 缺点：效率低，观测变量越多，效率越低
• 重要性采样-似然加权采样
  • 只对非观测变量进行采样，但最终样本需要赋予重要性权重：
    [w propto prod limits_{z_i in E} p(z_i | pa(z_i)) ]

  • 其中(E)是观测变量集合，(pa(z_i))是(z_i)的祖先的概率
• MCMC采样法
  • Metropolis-Hastings采样
    • 在采样变量组成的随机向量上选择一个概率转移矩阵
    • 按照概率转移矩阵不断进行状态转换，每个转移有一定概率的接受或拒绝
    • 最终的样本序列会收敛到目标分布
  • 吉布斯采样
    • 求得向量上的维度的条件概率
    • 每次只对一个变量进行采样，交替进行即可