0.监督和无监督
本质：有无标签数据
1.自动编码器：——只是重构原输入
输入-------->编码----->中间表示（潜在表示，code）-------->解码(重构）
通常用于：（1）、忽略噪声 （2）、压缩维度-----有聚类效果（可以达到PCA和主成分分析效果）
2.变分自动编码器 VAE----variational Autoencoders——可以生成新的样本
假设潜在表示（latent representation 有点类似上下文向量）符合某种先验分布（高斯分布），模型训练完毕后，可以从这种先验分布中采样得到潜在变量，然后在解码器中得到新的样本
就是在自动编码器的基础上加入随机因子。
生成原理：
- 首先通过带参数（参数由学习得到）的某种可能分布（如高斯分布）中采样获得潜在表示Z
- 在给定潜在表示Z的条件下采样生成样本。
变分法：一种求函数临界的优化算法。
多维高斯分布：由均值和协方差矩阵确定
3.生成模型和判断模型区别
判别模型：找到一个判别边界，直接进行分类。不考虑样本的生成过程。
生成模型：涉及样本的生成过程，即 哪个类别最可能生成这种样本。
4. 联合概率分布：就是多变量的概率分布而已，整个分布表之和为1.
条件概率分布：先在条件下确定样本事件集合范围，然后在这个集合内样本发生的概率。
5.生成对抗网络
生成器的衡量指标只有一个：最大化判别器对其判真的概率
判别器的衡量指标有两个：最大化真实样本判真概率，同时最大化生成样本的判假概率。
训练过程：生成器和判别器交替训练
首先，在前k步，固定生成器，从生成器中采样噪声，和真实样本一起训练，迭代判别器自身的参数
再固定判别器，从先验分布中采样批量噪声样本，迭代更新生成器自身参数
5.条件生成对抗网络
给予部分监督信息，比如输入是一种数字如0，生成的时候也规定生成什么类数字。