zoukankan      html  css  js  c++  java
  • Deflation Methods for Sparse PCA

    背景

    有很多Sparse PCA 算法运用了收缩算法,但是呢,往往只考虑如何解决,每一次迭代的稀疏化问题,而忽略了收缩算法的选择。

    总括

    在这里插入图片描述

    Hotelling's deflation

    公式

    (A_t = A_{t-1}-x_tx_t^{mathrm{T}}A_{t-1}x_tx_t^{mathrm{T}})

    特点

    如果(x_t)(A_{t-1})的特征向量
    那么
    (A_tx_t = (A_{t-1}-x_tx_t^{mathrm{T}}A_{t-1}x_tx_t^{mathrm{T}})x_t =0)
    所以,(x_t)依然是A_t的特征值为0所对应的特征向量。
    但是,如果(x_t)不是特征向量,(A_tx_t=0)这个性质就不存在了,而且,(A_t)不一定是半正定矩阵。
    在这里插入图片描述

    Projection deflation

    公式

    (A_t = (I-x_tx_t^{mathrm{T}})A_{t-1}(I-x_tx_t^{mathrm{T}}))

    特点

    半正定

    假设(A_{t-1})是半正定的。那么,对于任意的(x)
    (x^{mathrm{T}}A_tx = [x^{mathrm{T}}(I-x_tx_t^{mathrm{T}})]A_{t-1}[(I-x_tx_t^{mathrm{T}})x]geq0)

    另外(A_tx_t=0)
    (A_tx_t=(I-x_tx_t^{mathrm{T}})A_{t-1}(I-x_tx_t^{mathrm{T}})x_t=0)

    不过,(A_sx_t quad s>t)的值往往不是0

    Schur complement deflation

    在这里插入图片描述

    Orthogonalized projection deflation

    公式

    (A_t = (I-mathcal{P}^{(t)})A(I-mathcal{P}^{(t)}))
    (mathcal{P}^{(t)})是投影矩阵,满足:
    (mathcal{P}^{(t)mathrm{T}}mathcal{P}^{(t)}=mathcal{P}^{(t)})
    (mathcal{P}^{(t)}mathcal{P}^{(t)}=mathcal{P}^{(t)})

    (X=[x_1,x_2,ldots,x_t]=QR)
    则:
    (mathcal{P}^{(t)}=Q_{1...t}Q_{1...t}^{mathrm{T}})(假设X的秩为t)
    其中(Q_{1...t})(Q)的前t列。

    Orthogonalized Hotelling's deflation

    公式

    (A_t = A_{t-1} - q_tq_t^{mathrm{T}}A_{t-1}q_tq_t^{mathrm{T}})
    (q_t=frac{(I-mathcal{P}^{(t-1)})x_t}{|(I-mathcal{P}^{(t-1)})x_t|})

    特点

    XXX

  • 相关阅读:
    通知协议KVO的用法
    UIImageView用法
    默默的学习!
    多输入参数的方法
    一本书的摘录
    实例、局部、静态变量(java)
    分数相加的例题
    类的继承
    多线程
    单例
  • 原文地址:https://www.cnblogs.com/MTandHJ/p/10527976.html
Copyright © 2011-2022 走看看