根据logP(X|θ)的两种分解方式，从两个角度导出EM公式：
一、从（最大化ELBO，最小化KL散度）角度导出EM公式：
（来源：B站up主：shuhuai008,板书）
备注：
argmaxP(X|θ)=argmaxELBO<=>minimize KL<=> q(z)=P(Z|X,θ) 【固定X时，要想最大化ELBO，就需要最小化散度KL，最小化KL得到后验条件P(Z|X,θ)】
由于是在每一次（E-step，M-step）迭代中求解argmax，所以需要加上(t)标注，成为P(Z|X,θ(t))。
二、从（最大化ELBO，Jensen不等式角度）导出EM公式
（来源：B站up主：shuhuai008,板书）
备注：几个变换的小技巧：
①将P(X|θ)表示成关于Z的积分（期望） 【从另一个角度对P(X|θ)进行分解】
②引入概率q(Z)【重要】
③Jensen不等式“=”成立条件：log(mmm)中的mmm为常数。
④通过条件概率公式变换出q(Z)=P(Z|X,θ) => 导出公式
三、广义EM【后验P(Z|X,θ)不好求的时候，EM的公式】
（来源：B站up主：shuhuai008,板书）
备注：
①ELBO=L(q,θ)
②求解后验概率困难，所以提出了变分推断（variational inference）、蒙特卡洛算法(MCMC)等等
四、EM变种算法
可以用近似推断的方法求解后验，近似推断有变分推断和蒙特卡洛采样
VBEM/VEM（variational Bayes Expectation Maximun）基于平均场理论的变分推断求解后验P+EM
MCEM：蒙特卡洛采样推断求解后验P+EM
VB：variational bayes
VI：variational inference
VB和VI基本一样。
各种算法的使用场景？=> 看文献
参考资料：
1.https://www.bilibili.com/video/BV1qW411k7ao?p=2 ，作者：shuhuai008