概率图模型小结：
1. 两种模型：有向图、无向图（先不考虑混合的）
2. 三个知识点：（1）联合概率密度函数的表达 （2）推理 （3）学习
（1）对于联合概率密度函数的表达，是根据图模型结构、贝叶斯链式法则、Hammerslery-Clifford定理、d-分离、Z-分离可以直接写出，分析随机变量之间的依赖和独立性；而在局部内可以参数化，比如指数族的概率密度函数等各类概率密度函数。
（2）对于计算小的模型，推理可以直接根据联合概率密度函数；
（3）对于计算小的模型，学习可以根据极大似然估计得到参数。
3.分析复杂模型下的推理和学习。总结地说，
对于近似推理，有变分法，消息传递和采样法
对于学习，最大化总体对数似然等价于分别通过最大化单个样本对数似然，对每个局部参数进行估计；
KL散度；变分学习；梯度下降
4. 除此之外，结构学习的根本目标是确定数据样本的概率图结构
5.变分方法
是用一个曲线族去逼近一个复杂的概率密度函数；有squence和block两种方法，后者包括KL散度
6.采样的方法