概率主成分分析

zoukankan html css js c++ java

概率主成分分析

前面介绍了主成分分析,概率主成分分析是对主成分分析在概率上的一种推广。概率的引入,为主成分分析带来极大的好处。下面简单介绍概率主成分分析的导出以及和主成分分析的关系。在概率主成分分析里面，假设预测数据x是由一个隐变量z生成的,并且隐变量z以及条件概率p(x|z)均服从高斯分布。

$p(z) = N(z|0, I)$

$p(x|z) = N(x|Wz, \sigma^2I)$

根据高斯分布的性质,x的边缘分布p(x)也服从高斯分布,

$p(x) = N(x|0, WW^T + \sigma^2I)$

因为有了概率,我们可以从全新的角度去理解主成分分析了, 在该模型中,我们有两个参数W和σ,参数可

以用极大似然估计求出。对数似然函数如下,

$ln p(X|W, \sigma) = -\frac{N}{2}(D\ln(2\pi) + \ln|C| + Tr(C^{-1}S))$

其中

$Tr(C^{-1}S)) = \sum_{n=1}^N Tr(C^{-1}u_nu_n^T) = \sum_{n=1}^N Tr(u_n^TC^{-1}u_n) = \sum_{n=1}^N u_n^TC^{-1}u_n$

上面用到了迹的循环不变性的性质。我们忽略具体求解过程,分析一下它的解的形式,

$W_{ML} = U_M(L_M - \sigma^2I)^{1/2}R$

其中 $U_M$ 表示数据协方差矩阵最大的M个特征值所对应的特征向量, $L_M$ 是一个对角矩阵，对角线上的元素对应相应的特征值 , R是一个任意一个正交矩阵,现在可以看作是 $I$ 。

$W_{ML} = U_M(L_M - \sigma^2I)^{1/2}$

对比标准主成分分析的映射关系,

$x = Wz = U_ML_M^{1/2}z$

可以看到二者只相差 $\sigma^2I$ ,标准主成分分析是概率主成分分析σ 为0时的特殊情况。并且我们看到新的伸缩矩阵 $L_0 = (L_M - \sigma^2I)^{1/2}$ 在每个方向上都比原矩阵减小了一个因子 $\sigma^2$ ,概率主成分分析因为噪音的存在,使得伸缩程度变小了。

$\sigma_{ML}^2 = \frac{1}{D-M}\sum_{m=M+1}^D \lambda_m$

在主成分分析中我们用M个主向量去近似的我们的数据,即把其余非主成分向量的数据看作噪音丢掉。上面的式子正好表达了这个观点, 即方差等于其它非主成分空间的方差的平均值,也就是把噪音平均分配到每个方向上。它可以直观给出观测数据在主成分空间上方差的组成成分,一方面来自噪音 $\sigma^2$ ,另一方面来自隐变量空间 $\sigma_0^2 = \lambda - \sigma^2$ 。假设u是我们主成分空间的一个特征向量,那么该方向的方差可以表示为

$&u^TCu = u^T(W^TW + \sigma^2I)u \\= (u^TU_M(L_M - \sigma^2)U_M^Tu) + \sigma^2 \\= (u\sum_{m+1}^M\lambda_mu_mu_m^Tu - \sigma^2) + \sigma^2 = (\lambda - \sigma^2) + \sigma^2 = \lambda$

最后一步正好表达了，主成分向量方差由隐空间的 $\lambda - \sigma^2$ 和噪音 $\sigma^2$ 两部分组成。

1. pattern recognition and machine learning Christopher M.Bishop

查看全文

相关阅读:
最新自然语言处理(NLP)四步流程：Embed->Encode->Attend->Predict
Word Embedding
知乎：GAN 的发展对于研究通用人工智能有什么意义？
2016年总结：教师路的开启，爱情味的初尝 (下)
WinForm 窗口缩放动画效果
 关于DrawIndexedPrimitive函数的调用
 spring mvc--默认都使用了哪些bean
杭电 HDU 1031 Design T-Shirt
Android选择/拍照剪裁 base64/16进制/byte上传图片+PHP接收图片
 hdoj5645DZY Loves Balls

原文地址：https://www.cnblogs.com/downtjs/p/3497154.html