PCA的算法实现(更新)

1. 直推式的PCA

基本步骤：

• 对样本数据进行中心化处理（这步操作比较重要，特别是对推导公式）
• 求样本的协方差矩阵；
• 对样本的协方差矩阵进行特征值分解，并通过前k个特征值对应的特征向量进行映射：

PCA的优化目标是：

　　X = D + N，即低秩矩阵D和独立同分布的Gaussian噪声；

def pca(X, d):
    """直推式RPCA
    input:
        X: vector samples(row)
        d: target dimension
    output:
        reduced vector samples
    """
    # 1. zero-equalization
    size = X.shape[0]
    mean_x = np.mean(X)
    new_X = np.array([x - mean_x for x in X])     # 零均值化
    # 2.Cov(X)
    tmp_a = new_X.reshape(size, 1)
    tmp_b = new_X.reshape(1, size)
    cov_X = np.dot(tmp_a, tmp_b)            # 协方差矩阵
    # 3.eig_value & eig_vectors
    e_val, e_vecs = linalg.eig(cov_X)
    eval_idx = np.argsort(e_val)[::-1]
    # 4.取出前d大的特征值对应特征向量
    sorted_eval = [e_val[i] for i in eval_idx]
    sorted_vec = e_vecs[:, eval_idx]
    d_vec = sorted_vec[:, :d]               # 每个特征向量对应一个主成分方向
    # 5. X降维结果
    reduced_X = np.dot(d_vec.T, X)
    i = np.dot(d_vec.T, d_vec)

    return reduced_X, i


# -----------------------Test Part-------------------------
if __name__ == '__main__':
    # a = np.array(([1, 2, 3],
    #               [2, 5, 6],
    #               [3, 6, 9]))
    a = np.array(([1,2,3,4,5,6,7,8]))
    a,i = pca(a,4)
    print(a)
    print(i)

Notes：

# 一维矩阵相乘
    将向量都reshape成n*1和1*n的形式
    a = a.reshape(size, 1)
    b = a.reshape(1, size)
    np.dot(a, b)

2.RPCA
　　

# 这里代码还没写

　　RPCA的优化目标是：

　　　　D=L+SD=L+S，即低秩矩阵L和稀疏尖锐噪声矩阵S