zoukankan      html  css  js  c++  java
  • 最优化之Robust PCA

    最近加了一个QQ群,接触了点新的东西,包括稀疏近似,低秩近似和压缩感知等。Robust PCA中既包含了低秩,又包含了稀疏,于是以其为切入点,做了如下笔记。笔记中有的公式有比较详细的推导,希望对读者有用;有的公式则直接列写出了,待以后有新的理解再更新。由于初学,加之水平有限,文中会有疏漏错误之处,希望大家批评指正赐教。

    本文推导了矩阵绝对值和范数及核范数的次梯度;求解了带正则项(和惩罚项)的绝对值,矩阵绝对值和范数及矩阵核范数的最优化问题;介绍了Robust PCA的几种算法,包括了迭代阈值算法,加速近端梯度算法(Accelerated Proximal Gradient;APG),增广Lagrange乘子法(Augmented Lagrange Multiplier;ALM)和交替方向法(alternating direction methods;ADM),注意这部分笔记内容并不成熟。

    更新记录

    本文持续更新!如文中有错误,或你对本文有疑问或建议,欢迎留言或发邮件至quarrying#qq.com!

    2015年12月29日,更新博文,添加L0范数最优化问题求解,修正一些错误。

    参考

    http://math.stackexchange.com/questions/701062/derivative-of-nuclear-norm

    http://math.stackexchange.com/questions/1142540/proof-that-nuclear-norm-is-convex

    [2010 SIAM] A Singular Value Thresholding Algorithm for Matrix Completion

    [2009 SIAM] A Fast Iterative Shrinkage-Thresholding Algorithm for Linear Inverse Problems

    [2008 Candes] Exact Matrix Completion Via Convex Optimization

    [2009 ACM] Robust Principal Component Analysis

    [2009] Sparse and low-rank matrix decomposition via alternating direction methods

    [2009] The augmented Lagrange multiplier method for exact recovery of a corrupted low-rank matrices.

    [2009] Fast algorithms for recovering a corrupted low-rank matrix

    [2009] An Accelerated Proximal Gradient Algorithm for Nuclear Norm Regularized Least Squares problems

    正文

  • 相关阅读:
    c++字符串排序
    JAVA实现四则运算的简单计算器
    JAVA图形小动画之简单行星运动
    JAVA多线程编程
    ege图形库之简单贪吃蛇(c++)
    ege图形库之动画排序
    mysql 性能优化方案
    MYSQL 优化常用方法
    [手把手教你] 用Swoft 搭建微服务(TCP RPC)
    php有效防止同一用户多次登录
  • 原文地址:https://www.cnblogs.com/quarryman/p/robust_pca.html
Copyright © 2011-2022 走看看