zoukankan      html  css  js  c++  java
  • 狄利克雷过程(Dirichlet Process)

    0. 引入

    现观察得到两个样本 θ1,θ2,来推测它们可能来自的分布:

    • 假设来自于连续型概率密度函数, θ1,θ2H(θ)
      • θ1,θ2 相等的概率为 0,p(θ1=θ2)=0
      • 概率为 0,不代表不可能发生,仍有发生的可能,只不过概率的测度为 0;(详见测度论相关知识)
      • 纵然二者仍有可能相等,但因其概率测度为 0,实际上我们也只能视二者为不同的值;
    • 假设来自于一种离散型概率质量函数,我们仍希望其具有与连续型分布函数相类似的形式,记此时的离散分布为 G,想要其与连续型概率密度函数形式相近,又不至于像连续型那样任意产生的两个样本几乎可以视为不相等,则需要 GDP(α,H),这就是狄利克雷过程(当然严格的 DP 不要求 H 一定为连续,也可以为离散,称其为,base measure);
      • α>0 的 scalar,控制 G 的离散程度,其值越小与不离散,
        • 极限思维法,什么情况下,G 会达到最离散的状态呢,即只有一个值(α=0),使用一个值去代表一个分布;
        • α=G=H

    1. DP

    一般而言,样本从一个分布中得到,xP(X|θ),也即我们可从一个分布中得到样本,不管这是几维的样本,总之是一个值;

    但对于 DP 而言,GDP(α,H) 却是从分布得分布,产生的不是一个值,而是整个分布,从 base measure 产生一个 random discrete probability measure,最终产生的分布仍然是随机的,也即每次 draw(抽样)得到的都不一样。

    那么这样的 G 需要满足什么样的特性呢,对任意一次 draw 得到的 G 做任意次的划分(α1,,αd),则 G(α1,,αd)Dir()(需要满足狄利克雷分布)

  • 相关阅读:
    台州 OJ 3847 Mowing the Lawn 线性DP 单调队列
    洛谷 OJ P1417 烹调方案 01背包
    快速幂取模
    台州 OJ 2649 More is better 并查集
    UVa 1640
    UVa 11971
    UVa 10900
    UVa 11346
    UVa 10288
    UVa 1639
  • 原文地址:https://www.cnblogs.com/mtcnn/p/9422799.html
Copyright © 2011-2022 走看看