zoukankan      html  css  js  c++  java
  • "模式识别与机器学习"读书笔记——2.3 The Gaussian Distribution

    高斯分布,又叫做正态分布,应用范围很广。比如令单一变量取值分布能够具有最大熵就要用高斯分布;一堆随机数求和,得到的和的分布也满足高斯分布(根据拉普拉斯的中心极限定理)。这第2.3章就要介绍其一些重要性质,对后续章节很有帮助。

    2.3的每一小节的内容都不少,所以我拆开写了。另外这章涉及不少数学证明,不是很好写,具体写不写再说了。

    单变量的高斯分布形式:

    当变量x是个D维向量时,高斯分布形式:

    是D*D的协方差矩阵。

    经过一系列证明得到那个“显然的结论”:

    证明过程中用到不少矩阵的基础知识,用矩阵来表述多变量确实方便。
    既然是证明就是逐层深入的,后面的证明要活用前面的应用。

    高斯分布也是个分布,它的参数都是人为给定的,也是一种典型的参数控制的分布。

    高斯分布中u会有D个参数,有D(D+1)/2个参数,因为其是对称矩阵,所以高斯分布一共有D(D+3)/2个参数。

    当D增长时,高斯分布的参数数会以二次方的速度迅速增长,会变得很大,而对大矩阵的操作代价是很高的,所以要想办法减少参数。

    明显的参数减少办法有,限制,让其为对角阵,则总参数减少为2D,令其为单位矩阵则总参数减少为D+1,不过这么做的缺点就是对某些类数据的描述不会很理想。此外高斯分布还有个天生的弱点就是它只有一个峰值,对于有多个峰值分布的数据其模拟效果必不会好。

    在后面章节会引入潜变量(latent variables),可以解决参数数量与匹配精度的矛盾。

  • 相关阅读:
    webdav srs相关
    How To Configure WebDAV Access with Apache on Ubuntu 14.04
    ubuntu 编译lighttpd
    srs编译及推流测试
    Compile pciutils (lspci, setpci) in Windows x86,在 Windows x86 平台下编译 pciutils (lspci, setpci)
    mingw MSYS2 区别
    Qt之美(三):隐式共享
    Qt之美(二):元对象
    Qt之美(一):d指针/p指针详解
    C++的栈空间和堆空间
  • 原文地址:https://www.cnblogs.com/plwang1990/p/2106031.html
Copyright © 2011-2022 走看看