一、高斯混合模型
- 软分类算法，即对每一个样本，计算其属于各个分布的概率，概率值最大的就是这个样本所属的分类。
- 对于训练样本的分布，看成为多个高斯分布加权得到的。其中每个高斯分布即为某一特定的类。
- 高斯混合模型和高斯判别分析非常像，唯一的区别就是在高斯混合模型中，每个样本所属的类别标签是未知的。
- 为了计算每个样本属于各个分布的概率Z，对每个高斯分布的参数进行初始化，然后以此计算概率Z，再根据Z来对所有参数进行优化，直到收敛。
二、EM算法
1、Jensen不等式
- 若二阶导数的不等号方向逆转（f(x)为凹函数），则不等式的不等号方向逆转。
- 严格凸函数：非正式得定义，曲线中不能包含直线部分，