zoukankan      html  css  js  c++  java
  • 狄利克雷过程(Dirichlet Process)

    0. 引入

    现观察得到两个样本 θ1,θ2,来推测它们可能来自的分布:

    • 假设来自于连续型概率密度函数, θ1,θ2H(θ)
      • θ1,θ2 相等的概率为 0,p(θ1=θ2)=0
      • 概率为 0,不代表不可能发生,仍有发生的可能,只不过概率的测度为 0;(详见测度论相关知识)
      • 纵然二者仍有可能相等,但因其概率测度为 0,实际上我们也只能视二者为不同的值;
    • 假设来自于一种离散型概率质量函数,我们仍希望其具有与连续型分布函数相类似的形式,记此时的离散分布为 G,想要其与连续型概率密度函数形式相近,又不至于像连续型那样任意产生的两个样本几乎可以视为不相等,则需要 GDP(α,H),这就是狄利克雷过程(当然严格的 DP 不要求 H 一定为连续,也可以为离散,称其为,base measure);
      • α>0 的 scalar,控制 G 的离散程度,其值越小与不离散,
        • 极限思维法,什么情况下,G 会达到最离散的状态呢,即只有一个值(α=0),使用一个值去代表一个分布;
        • α=G=H

    1. DP

    一般而言,样本从一个分布中得到,xP(X|θ),也即我们可从一个分布中得到样本,不管这是几维的样本,总之是一个值;

    但对于 DP 而言,GDP(α,H) 却是从分布得分布,产生的不是一个值,而是整个分布,从 base measure 产生一个 random discrete probability measure,最终产生的分布仍然是随机的,也即每次 draw(抽样)得到的都不一样。

    那么这样的 G 需要满足什么样的特性呢,对任意一次 draw 得到的 G 做任意次的划分(α1,,αd),则 G(α1,,αd)Dir()(需要满足狄利克雷分布)

  • 相关阅读:
    RabbitMQ 入门
    Spring boot 2.x 中使用redis
    spring boot 中 Cache 的使用
    vbs 入门
    移动端文本框被原生键盘弹出后挡住文本框
    HTML中添加音乐video embed audio
    input修改placeholder文字颜色
    vue中更换.ico图标报错路径找不到图片
    Chrome表单文本框自动填充黄色背景色样式
    请求头缺少 'Access-Control-Allow-Origin'
  • 原文地址:https://www.cnblogs.com/mtcnn/p/9422799.html
Copyright © 2011-2022 走看看