zoukankan      html  css  js  c++  java
  • 核主成分分析方法(KPCA)怎么理解?

    先回顾下主成分分析方法。PCA的最大方差推导的结论是,把数据投影到特征向量的方向后,方差具有极大值的。假如先把数据映射到一个新的特征空间,再做PCA会怎样?对于一些数据,方差会更好地保留下来。而核方法就是提供了一些映射到新的特征空间的选择。

    假设这个映射为$phi(x_{i})$, 数据从新的特征空间投影到向量w的方差,由前一节主成分分析方法可以得到

    $D = w^{T}*(frac{1}{n}sum X^{T}*X)*w$,其中$X^{T} = [phi(x_{1}), phi(x_{2}), ... , phi(x_{n})]$. 这里$X^{T}*X$矩阵是不可知的,更加无法求出它的特征向量。

    但是我们知道$X*X^{T}$是一个核矩阵,每个元素可以由核函数计算出来,可以对核矩阵进行特征值分解 $X X^{T}  u = lambda u$, 等式两边乘以 $X^{T}$

    得到$X^{T} X (X^{T}  u) = lambda (X^{T} u) $ ,原来两个矩阵的特征值是一样的!

    而特征向量$X^{T} u $是不可知的,但是没关系,我们只需要知道从新的特征空间投影回来的坐标就可以了。

    先把$X^{T} u $单位化为v,很容易推导出它的长度为$sqrt{lambda}$, 那么投影后的坐标为

    $v^{T}*phi(x^{'}) = frac{1}{sqrt{lambda}} uXphi(x^{'})$, 是可以用核函数求出来的,于是用核方法降维后的点就算出来的。

  • 相关阅读:
    lostash 正则
    Mysql 利用multiline 实现多行匹配
    java中byte, int的转换
    mysql perl 抓取update语句
    $/ 改变换行符
    mysql 匹配update
    perl binlog dml操作报告
    mysql 分区 按 PARTITION BY RANGE (TO_DAYS(startTime))
    Mysql explain 查看分区表
    写作的力道——北漂18年(番外篇一)
  • 原文地址:https://www.cnblogs.com/learninglife/p/10291413.html
Copyright © 2011-2022 走看看