zoukankan      html  css  js  c++  java
  • 2.2 Multinomial variables多项变量的分布_PRML模式识别与机器学习读书笔记

    2.2 Multinomial variables多项变量的分布

        考虑多项变量即K个互斥变量(可能取值),使用1-of-K方式表示为K维向量x,其中某个向量xk=1,且其他向量=0。例如某个变量发生,对应向量为x3,则x3=1 :

            

        xk=1发生的概率为μk,那么x的分布为:

            

        这里,且,该分布可以看作是Bernoulli分布多输出的普遍形式,很明显上式是归一化的normalized:

            

            

        考虑N个独立观测值 {x1,…,xN} 数据集D, 对应的似然函数:

            

        其中:

            

        代表xk=1在D中发生次数。这是都是该分布的完全统计sufficient statistics。

        2.29的限制条件是,那么可以使用拉格朗日乘子法对lnp(D|μ),转换为最大化下式:

            

        基于μk求导等于0,得到:

                

        将该式代入,有 λ=-N,由此我们得到μ的最大似然解:

                

    Multinomial distribution多项分布    

    接下来我们考虑m1,m2,…,mK的联合分布,从2.29式,我们可以得到:

        

    这就是多项分布归一化系数:

            

    变量mk 受限于:

            

    2.21 The Dirichlet distribution

        引入2.34式的先验的相似分布,共轭先验的形式应该是:

                    

        这里,,对于3维来说,由于受限于总和,自由变量只有二维,所以k维变量就被限制在k-1维空间。如下图,取值限于一个平面,可以将这个平面投影到二维平面:

        

        

    α1,…, αK 是分布的参数,α=(α1,…, αK)T,2.37式的归一化形式:

            

        其中:

                

        该分布就是Dirichlet distribution,该分布是连续多变量分布,是多变量普遍化的Beta分布。狄利克雷分布奠定了狄利克雷过程的基础,被广泛应用于自然语言处理特别是主题模型(topic model)的研究。下图是一个3变量分布:

        将先验2.38与相似函数2.34相乘,有:

            

        看得出,后验同样是一个Dirichlet分布,归一化系数,得到后验:

            

  • 相关阅读:
    MySQL数据库之WHERE条件语句
    MySQL数据库的简单操作指令之DML语言
    课程设计必备之数据库操作代码模板
    MySQL数据库之外键约束的简单理解
    pdf.js的使用
    javascript连连看
    数据库问题
    列表文字超出后,鼠标悬浮显示全部内容
    springboot component注入servecie
    点击列表 获取table tr td 下的input value
  • 原文地址:https://www.cnblogs.com/enJeffrey/p/3553756.html
Copyright © 2011-2022 走看看