zoukankan      html  css  js  c++  java
  • "模式识别与机器学习"读书笔记——2.3 The Gaussian Distribution

    高斯分布,又叫做正态分布,应用范围很广。比如令单一变量取值分布能够具有最大熵就要用高斯分布;一堆随机数求和,得到的和的分布也满足高斯分布(根据拉普拉斯的中心极限定理)。这第2.3章就要介绍其一些重要性质,对后续章节很有帮助。

    2.3的每一小节的内容都不少,所以我拆开写了。另外这章涉及不少数学证明,不是很好写,具体写不写再说了。

    单变量的高斯分布形式:

    当变量x是个D维向量时,高斯分布形式:

    是D*D的协方差矩阵。

    经过一系列证明得到那个“显然的结论”:

    证明过程中用到不少矩阵的基础知识,用矩阵来表述多变量确实方便。
    既然是证明就是逐层深入的,后面的证明要活用前面的应用。

    高斯分布也是个分布,它的参数都是人为给定的,也是一种典型的参数控制的分布。

    高斯分布中u会有D个参数,有D(D+1)/2个参数,因为其是对称矩阵,所以高斯分布一共有D(D+3)/2个参数。

    当D增长时,高斯分布的参数数会以二次方的速度迅速增长,会变得很大,而对大矩阵的操作代价是很高的,所以要想办法减少参数。

    明显的参数减少办法有,限制,让其为对角阵,则总参数减少为2D,令其为单位矩阵则总参数减少为D+1,不过这么做的缺点就是对某些类数据的描述不会很理想。此外高斯分布还有个天生的弱点就是它只有一个峰值,对于有多个峰值分布的数据其模拟效果必不会好。

    在后面章节会引入潜变量(latent variables),可以解决参数数量与匹配精度的矛盾。

  • 相关阅读:
    VS创建MVC出错解决方法
    服务器环境~某个页面无法访问的处理
    SSIS 处理错误的方法
    SSIS 数据流的执行树和数据管道
    利用SSIS的ForcedExecutionResult 属性 和CheckPoint调试Package
    处于同一域中的两台SQL Server 实例无法连接
    SQL Server 日期和时间类型
    Lookup 转换组件
    约束2:主键约束,唯一约束和唯一索引
    查询语句影响的行数
  • 原文地址:https://www.cnblogs.com/plwang1990/p/2106031.html
Copyright © 2011-2022 走看看