zoukankan      html  css  js  c++  java
  • 概率主成分分析

    前面介绍了主成分分析,概率主成分分析是对主成分分析在概率上的一种推广。 概率的引入,为主成分分析带来极大的好处。下面简单介绍概率主成分分析的 导出以及和主成分分析的关系。 在概率主成分分析里面,假设预测数据x是由一个隐变量z生成的,并且隐变量z以及条件概率p(x|z)均服从高斯分布。

    根据高斯分布的性质,x的边缘分布p(x)也服从高斯分布,

    因为有了概率,我们可以从全新的角度去理解主成分分析了, 在该模型中,我们有两个参数W和σ,参数可

    以用极大似然估计求出。 对数似然函数如下,

    其中

    上面用到了迹的循环不变性的性质。 我们忽略具体求解过程,分析一下它的解的形式,

    其中 表示数据协方差矩阵最大的M个特征值所对应的特征 向量,是一个对角矩阵,对角线上的元素对应相应的特征值 , R是一个任意一个正交矩阵,现在可以看作是

    对比标准主成分分析的映射关系,

    可以看到二者只相差,标准主成分分析是概率主成分分析σ 为0时的特殊情况。并且我们看到新的伸缩矩阵在每个方向上都比原矩阵减小了一个因子,概率主成分分析因为噪音的存在,使得伸缩程度变小了。

    在主成分分析中我们用M个主向量去近似的我们的数据,即把其余 非主成分向量的数据看作噪音丢掉。上面的式子正好表达了这个观点, 即方差等于其它非主成分空间的方差的平均值,也就是把噪音平均分配 到每个方向上。它可以直观给出观测数据在主成分空间上方差的组成成分,一方面来自噪音,另一方面来自隐变量空间 。 假设u是我们主成分空间的一个特征向量,那么该方向的方差可以表示为

    最后一步正好表达了,主成分向量方差由隐空间的和噪音两部分组成。

    1. pattern recognition and machine learning              Christopher M.Bishop  

  • 相关阅读:
    HBuilder在线打包ipa步骤
    SWD烧录/仿真方式
    详解shell脚本括号区别--$()、$「 」、$「 」 、$(()) 、「 」 、「[ 」]
    Centos/Linux下调整分区大小(以home和根分区为例)
    Centos6.5安装中文支持和中文输入法
    如何用电路实现检测过零点?这个简单电路就能搞定
    ifconfig无输出的原因及解决办法
    Linux云服务器下Tomcat部署
    linux wget 命令用法详解(附实例说明)
    yum的repo文件详解、以及epel简介、yum源的更换
  • 原文地址:https://www.cnblogs.com/lijiankou/p/3400942.html
Copyright © 2011-2022 走看看