ICA(独立成分分析)笔记

       ICA又称盲源分离(Blind source separation, BSS)

       它假设观察到的随机信号x服从模型，其中s为未知源信号，其分量相互独立，A为一未知混合矩阵。

        ICA的目的是通过且仅通过观察x来估计混合矩阵A以及源信号s。

大多数ICA的算法需要进行“数据预处理”（data preprocessing）：先用PCA得到y，再把y的各个分量标准化（即让各分量除以自身的标准差）得到z。预处理后得到的z满足下面性质：

• z的各个分量不相关；
• z的各个分量的方差都为1。

      “ICA基本定理”：

       定理（Pierre Comon, 1994）

      假设随机信号z服从模型，其中s的分量相互独立，且其中至多可以有一个为高斯；B为满秩方阵。

       那么若z的分量相互独立当且仅当B=PD，其中P为排列矩阵(permutation matrix)，D为对角矩阵。

       这个定理告诉我们，对于原信号x做线性变换得到的新随机向量，若z的分量相互独立，那么z的各个分量一定对应于某个源信号分量乘以一个系数。到这里，我们可以看到ICA的解具有内在的不确定性(inherent indeterminacy)。实际上，因为，即具备相同统计特征的x可能来自两个不同的系统，这意味着单从观察x我们不可能知道它来自于哪一个，从而我们就不可能推断出源信号s的强度（方差）。为了在技术上消除这种不确定性，人们干脆约定源信号s的方差为1。有了这个约定，再通过数据预处理的方法，我们可以把原混合矩阵A化为一个自由度更低的正交矩阵：

        数据预处理的过程又称为“数据白化”(data whitening)。这里预处理以后得到的z和源信号s的关系为。取，则它可以看做一个新的混合矩阵。容易看出这是一个正交矩阵，它仅有个自由度；而原混合矩阵一般有个自由度。

     

         在ICA之前，往往会对数据有一个预处理过程，那就是PCA与白化。白化在这里先不提，PCA本质上来说就是一个降维过程，大大降低ICA的计算量。 

        总的来说，ICA认为观测信号是若干个统计独立的分量的线性组合，ICA要做的是一个解混过程。而PCA是一个信息提取的过程，将原始数据降维，现已成为ICA将数据标准化的预处理步骤。

       

           

          大部分算法都用两步来实现ICA：第一步做白化预处理（whitening），让输出信号不相关而且同方差。第二步找一个旋转（就是正交变换）让输出信号不只不相关（uncorrelated），进而在统计意义上独立（statistically independent）。

        更进一步，每当我们做回归（regression），不管是线性回归还是非线性回归，噪声和predictor都是不相关的。但很多情况下，它们却不是独立的。这个性质最近十年内在因果关系分析中得到很重要的应用。

其他详细内容请参考：

https://www.baidu.com/link?url=I5XgnPAgtupzEncN4tet8Ou1xpTvqcWR9XlMAjiO-30-_t-RP0zTUJNiVsHYliLKdvJnhwlzhJq6SXr_pXOpB_&wd=&eqid=f77b202a00025c40000000035b7a6746

 

https://blog.csdn.net/shenziheng1/article/details/53555969

https://blog.csdn.net/shenziheng1/article/details/53637907

https://blog.csdn.net/sinat_37965706/article/details/71330979