高斯混合模型以及EM算法

高斯混合模型

高斯混合模型（GMM），顾名思义，就是数据可以看作是从数个高斯分布中生成出来的。虽然我们可以用不同的分布来随意地构造 XX Mixture Model ，但是 GMM是 最为流行。另外，Mixture Model 本身其实也是可以变得任意复杂的，通过增加 Model 的个数，我们可以任意地逼近任何连续的概率密分布。

每个 GMM 由 K 个 Gaussian 分布组成，每个 Gaussian 称为一个“Component”，这些 Component 线性加成在一起就组成了 GMM 的概率密度函数：

$$ p(x) = sumlimits_{k = 1}^K p(k)p(x|k) = sumlimits_{k = 1}^K pi _kmathcal{N}(x|mu_k,Sigma_k) ag {1} $$

假设现在有N数据点，我们认为这些数据点由某个GMM模型产生，现在我们要需要确定 这些参数。很自然的，我们想到利用最大似然估计来确定这些参数，GMM的似然函数如下：
$$ log prod limits_{i = 1}^Np(x_i) = sumlimits_{i = 1}^N log p(x_i)=sumlimits_{i = 1}^Nlogsumlimits_{k = 1}^K pi _kmathcal{N}(x_i|mu_k, Sigma_k) ag{2} $$

参考文章：

• 高斯混合模型