CS (Compressive sensing, 压缩传感)

由来

　　采样定理（又称取样定理、抽样定理）是采样带限信号过程所遵循的规律，1928年由美国电信工程师H.奈奎斯特首先提出来的，因此称为奈奎斯特采样定理。1948年信息论的创始人C.E.香农对这一定理加以明确说明并正式作为定理引用，因此在许多文献中又称为香农采样定理。该理论支配着几乎所有的信号/图像等的获取、处理、存储、传输等，即：采样率不小于最高频率的两倍(该采样率称作Nyquist采样率)。该理论指导下的信息获取、存储、融合、处理及传输等成为目前信息领域进一步发展的主要瓶颈之一，主要表现在两个方面：

　　(1)数据获取和处理方面。对于单个(幅)信号/图像，在许多实际应用中(例如，超宽带通信，超宽带信号处理，THz成像，核磁共振，空间探测，等等）， Nyquist采样硬件成本昂贵、获取效率低下，在某些情况甚至无法实现。为突破Nyquist采样定理的限制，已发展了一些理论，其中典型的例子为Landau理论， Papoulis等的非均匀采样理论，M. Vetterli等的 finite rate of innovation信号采样理论，等。对于多道(或多模式)数据(例如，传感器网络，波束合成，无线通信，空间探测，等)，硬件成本昂贵、信息冗余及有效信息提取的效率低下，等等。

　　(2)数据存储和传输方面。通常的做法是先按照Nyquist方式获取数据，然后将获得的数据进行压缩，最后将压缩后的数据进行存储或传输，显然，这样的方式造成很大程度的资源浪费。另外，为保证信息的安全传输，通常的加密技术是用某种方式对信号进行编码，这给信息的安全传输和接受带来一定程度的麻烦。

　　综上所述：Nyquist-Shannon理论并不是唯一、最优的采样理论，研究如何突破以Nyquist-Shannon采样理论为支撑的信息获取、处理、融合、存储及传输等的方式是推动信息领域进一步往前发展的关键。众所周知：(1)Nyquist采样率是信号精确复原的充分条件，但绝不是必要条件。(2)除带宽可作为先验信息外，实际应用中的大多数信号/图像中拥有大量的structure。由贝叶斯理论可知：利用该structure信息可大大降低数据采集量。(3) Johnson-Lindenstrauss理论表明：以overwhelming性概率，K+1次测量足以精确复原N维空间的K-稀疏信号。

　　近年来，由D. Donoho(美国科学院院士)、E. Candes(Ridgelet, Curvelet创始人)及华裔科学家T. Tao(2006年菲尔兹奖获得者，2008年被评为世界上最聪明的科学家)等人提出了一种新的信息获取指导理论，即，压缩感知或压缩传感（Compressive Sensing(CS) or Compressed Sensing、Compressed Sampling）。该理论指出：对可压缩的信号可通过远低于Nyquist标准的方式进行采样数据，仍能够精确地恢复出原始信号。该理论一经提出，就在信息论、信号/图像处理、医疗成像、模式识别、地质勘探、光学/雷达成像、无线通信等领域受到高度关注，并被美国科技评论评为2007年度十大科技进展。目前CS理论的研究尚属于起步阶段，但已表现出了强大的生命力，并已发展了分布CS理论(Baron等提出)，1-BIT CS理论(Baraniuk等提出)，Bayesian CS理论(Carin等提出)，无限维CS理论(Elad等提出)，变形CS理论(Meyer等提出)，等等，已成为数学领域和工程应用领域的一大研究热点。

基本知识

　　核心思想是将压缩与采样合并进行，首先采集信号的非自适应线性投影 (测量值)，然后根据相应重构算法由测量值重构原始信号。压缩传感的优点在于信号的投影测量数据量远远小于传统采样方法所获的数据量，突破了香农采样定理的瓶颈，使得高分辨率信号的采集成为可能。

　　压缩传感理论主要包括信号的稀疏表示、编码测量和重构算法等三个方面。信号的稀疏表示就是将信号投影到正交变换基时，绝大部分变换系数的绝对值很小，所得到的变换向量是稀疏或者近似稀疏的，以将其看作原始信号的一种简洁表达，这是压缩传感的先验条件，即信号必须在某种变换下可以稀疏表示。 通常变换基可以根据信号本身的特点灵活选取， 常用的有离散余弦变换基、快速傅里叶变换基、离散小波变换基、Curvelet基、Gabor 基 以及冗余字典等。 在编码测量中， 首先选择稳定的投影矩阵，为了确保信号的线性投影能够保持信号的原始结构， 投影矩阵必须满足约束等距性 (Restricted isometry property, RIP)条件， 然后通过原始信号与测量矩阵的乘积获得原始信号的线性投影测量。最后，运用重构算法由测量值及投影矩阵重构原始信号。信号重构过程一般转换为一个最小L0范数的优化问题，求解方法主要有最小L1 范数法、匹配追踪系列算法、最小全变分方法、迭代阈值算法等。

应用领域

　　压缩传感技术是一种抽象的数学概念，而不是具体的操作方案，它可以应用到成像以外的许多领域。以下只是其中几个例子：

　　磁共振成像(MRI)：在医学上，磁共振的工作原理是做许多次（但次数仍是有限的）测量（基本上就是对人体图像进行离散拉东变换（也叫X光变换）），再对数据进行加工来生成图像（在这里就是人体内水的密度分布图像）。由于测量次数必须很多，整个过程对患者来说太过漫长。压缩传感技术可以显著减少测量次数，加快成像（甚至有可能做到实时成像，也就是核磁共振的视频而非静态图像）。此外我们还可以以测量次数换图像质量，用与原来一样的测量次数可以得到好得多的图像分辨率。

　　天文学：许多天文现象（如脉冲星）具有多种频率震荡特性，使其在频域上是高度稀疏也就是可压缩的。压缩传感技术将使我们能够在时域内测量这些现象（即记录望远镜数据）并能够精确重建原始信号，即使原始数据不完整或者干扰严重（原因可能是天气不佳，上机时间不够，或者就是因为地球自传使我们得不到全时序的数据）。

　　线性编码：压缩传感技术提供了一个简单的方法，让多个传送者可以将其信号带纠错地合并传送，这样即使输出信号的一大部分丢失或毁坏，仍然可以恢复出原始信号。例如，可以用任意一种线性编码把1000比特信息编码进一个3000比特的流；那么，即使其中300位被（恶意）毁坏，原始信息也能完全无损失地完美重建。这是因为压缩传感技术可以把破坏动作本身看作一个稀疏的信号（只集中在3000比特中的300位）。

需要解决的问题

　　尽管压缩传感已经在很多领域表现出了超然的优势，但作为一种新兴的理论，CS还有很多有待完善的地方。

　　比如测量矩阵的设计，怎样设计测量矩阵使得更符合原始信号的结构特点，并能以最大概率精确重构原始信号，而并非一定要满足RIP，即要找出充要条件；

　　比如如何让实现动态测量，尤其是在硬件实现上；

　　还有算法的优化，如何减少计算量，提高重建速度等等。

trackback: http://baike.baidu.com/view/2761805.html?fromTaglist

Link

1. Massimo Fornasier and Holger Rauhut, Compressive Sensing. (Chapter in Part 2 of the "Handbook of Mathematical Methods in Imaging" (O. Scherzer Ed.), Springer, 2011 (http://www.ricam.oeaw.ac.at/people/page/fornasier/CSFornasierRauhut.pdf)
2. Compressed Sensing: A Tutorial (PPT), http://people.ee.duke.edu/~willett/SSP//Tutorials/ssp07-cs-tutorial.pdf
3. Candes, E., & Wakin, M. (2008). An Introduction To Compressive Sampling IEEE Signal Processing Magazine, 25 (2), 21-30 DOI:10.1109/MSP.2007.914731 (中文翻译：http://www.cvchina.info/2011/05/07/ej-candes-translation/)
4. Shihao Ji, Y. Xue, and L. Carin, "Bayesian compressive sensing," IEEE Trans. Signal Processing, vol. 56, no. 6, pp. 2346-2356, June 2008. [pdf file | code]
5. Introduction to Restricted Isometry Property (RIP), http://cnx.org/content/m15149/latest/
6. R. Baraniuk , M. Davenport , R. DeVore and M. Wakin   "A simple proof of the restricted isometry property for random matrices",  Constr. Approx.,  , 2008.  (http://dsp.rice.edu/sites/dsp.rice.edu/files/cs/JL_RIP.pdf)