Independent Components Analysis:独立成分分析

1. 引言

与 PCA 类似，Independent Components Analysis（ICA）同样是要找到一组新基去表示数据。但是目标大不相同。

为了阐述动机，举一个例子，考虑“鸡尾酒会问题”。

在酒会上，有 n 个演讲者同时讲话，房间里面的每一个麦克风都会记录所有演讲者声音混合起来的音频，但是由于每一个麦克风距离每一个演讲者的距离都不一样，所以没一个麦克风记录的混合音频是不一样的，那么用这些麦克风录下来的混合音频数据，我们能否将每一个演讲者的声音都区分出来呢？

为了方便讨论，假设某个数据  是由 n 个独立的数据源而产生的。我们观察到的是：

x = As 

这里矩阵 A 是方阵，被称作混合矩阵。重复观察或者记录 m 次，就可以得到一个数据集{x⁽ⁱ⁾; i = 1, 2, ... , m}，我们的目标是利用已经产生的数据( x⁽ⁱ⁾ = As⁽ⁱ⁾ )去恢复出数据源 s⁽ⁱ⁾.

---

 

在“鸡尾酒会问题”中，s⁽ⁱ⁾ 是一个 n 维的向量 ,  是第 j 个演讲者在 时间点 i 所发出的声音；同样， x⁽ⁱ⁾ 也是一个 n 维向量， 是第 j 个麦克风在时间点 i 所记录的音频数据。

令 W = A^-1 为解混合矩阵. 我们的目标就是找到 W, 这样给出麦克风的录音数据 x⁽ⁱ⁾ ，就可以通过 s⁽ⁱ⁾ = Wx⁽ⁱ⁾ 来恢复出数据源. 为了表示方便，令  表示 W 的第 i 行，所以有：

因此，，第 j 个数据源可以通过计算  恢复出来.

---

 

2. ICA 的不确定性（ICA ambiguities）

如果没有数据源和混合矩阵的先验知识，不难看出，在只给出观察数据 x 的情况下，A 中存在的一些不确定性会使得数据源不可能得到恢复.

• 特别是，令 P 是任意一个 n×n 的置换矩阵（permutation matrix）. 这就意味着 矩阵 P 的每一行和每一列有且只有一个元素为1，其它元素均为0. 下面是一些置换矩阵的例子：

 　　如果 z 是一个向量，那么 Pz 就会返回一个 z 中坐标经过置换后的版本的向量，具体如何置换取决于 1 所在 P 中位置.

　　所以在只有 x 的情况下，没法区分 W 和 PW. 所以解混合矩阵无法确定，数据源也就无法确定. 幸运的是，这种问题在大多数应用中都无关紧要.

• 而且，没法得到正确的混合矩阵 A，例如如果用 2A 代替 A, 然后用 0.5s⁽ⁱ⁾ 代替 s⁽ⁱ⁾ ,然后观测数据 x(i) = 2A· 0.5s⁽ⁱ⁾ 是一样的. 也就是说我们恢复出的数据源前面的系数无法确定，可能会是真正数据源的任意倍数. 但是对于“鸡尾酒会问题”这个不确定性也不重要，因为前面的系数仅仅代表着演讲者的声音大小，不影响数据的恢复.

 已经证明，只要数据源不是高斯分布的数据，ICA 的不确定性也仅仅就来源于上面讨论的两方面.

那么对于高斯数据，考虑有两个数据源，即 n = 2, s~N(0, I ). 其中 I 是 一个2×2的单位矩阵.现在，假设观察到某个数据 x = As, A是混合矩阵，显然 x 也服从高斯分布, 且均值为0, 协方差E(xx^T) = E(Ass^TA^T) = AA^T . 令 R 为任意的正交矩阵，即 RR^T = R^TR = I, 令 A' = AR. 如果用 A' 作为混合矩阵代替 A, 那么观测数据就是 x' = A's, 类似 x' 同样服从高斯分布，均值为0， 协方差为E[x'(x')^T] = E[A'ss^T(A')^T] = E[ARss^T(AR)^T] = ARR^TA^T = AA^T. 因此，不论混合矩阵式 A 还是 A',观测数据都服从高斯分布 N(0, AA^T), 于是难以分辨数据源的混合到底是用了 A 还是 A' . 可以看出，存在一个任意的转置成分（例子中的R）不是数据决定的，所以无法恢复出数据源.

上面的讨论是基于多元标准正态分布的转置对称性(目前还没搞定什么是转置对称).尽管如此，只要不是高斯数据，可以证明，在有足够数据的情况下，ICA都有可能恢复出 n 个独立的数据源.

---

 

3. 密度函数和线性变换

在正式讨论ICA算法之前，首先简要地讨论线性变换对密度函数的影响.

假设随机变量 s 是通过密度函数 p_s(s) 采样而来, 假设 s 是一个实数. 另一个随机变量 x 由 x = As 得出. 用 p_x 表示 x 的密度函数，下面来求出这个密度函数.

先看一个简单的例子，令 s~Uniform[0,1], 那么 s 的概率密度p_s(s) = 1{0 ≤ s ≤ 1}.令A = 2,那么 x = 2s. 显然，x 服从[0,2]之间的均匀分布，密度函数 p_x(x) = (0.5)1{0 ≤ x ≤ 2}，注意A^-1 = 0.5.

更一般地，令 W = A^-1 , 计算 x 的密度函数：

p_x(x)  = p_s(Wx)|W|

---

 

4. ICA 算法

假设每一个数据源 s_i 由密度函数 p_s 给出，数据源 s 的联合分布：

注意上面式子之所以成立是因为假设数据源是彼此独立的.

根据上面讨论的密度函数和线性变换的关系以及根据 x = As = W^-1s ：

回忆概率论的知识，对于一个连续实数的随机变量 z, 它的分布函数 F 的定义：

所以变量 z 的密度函数就是它的分布函数的导数：

所以，为了找到一个具体的 s 的密度函数 p_s(s), 只要能找到它的分布函数即可. 分布函数是由0到1的单调递增函数，由前面的讨论知道这个分布函数不能取高斯分布函数.

通常取 sigmoid 函数：作为默认的分布函数，所以.

方阵 W 是我们模型的参数，给定训练集，那么参数的似然函数：

接下来就是最大化这个参数 W 的似然函数，利用，推导出参数在随机梯度下降算法中的更新规则，对于训练样本x⁽ⁱ⁾ :

其中α 是学习率.

等到算法收敛之后，计算 s(i) = Wx(i) 就可以恢复出数据源的数据了.