1、机器学习的任务
- 机器学习的任务是从属性 X 预测标记 Y，即求概率 P(Y|X)
2、判别式模型
- 对未见示例 X，判别式模型根据 P(Y|X) 可以求得标记 Y，即可以直接判别出来
- 对于二分类任务来说，实际得到一个score，当score大于threshold时则为正类，否则为反类
- 如上图的左边所示，实际是就是直接得到了判别边界
- 判别模型之所以称为“判别”模型，是因为其根据 X “判别” Y
- 常见判别式模型
- 线性回归模型
- 支持向量机（SVM）
- 逻辑回归（LR）
- 神经网络（NN）
- 高斯过程（Gaussian process）
- 条件随机场 CRF
- CART （Classification and regression tree）
- Boosting
3、生成式模型
- 对于未见示例 X，生成式模型需要先求出 X 与不同标记之间的联合概率分布，概率大的获胜
- 如上图右边所示，并没有什么边界存在，对于未见示例（红三角），求两个联合概率分布（有两个类），比较一下，概率大的作为预测类别
- 生成模型之所以称为“生成”模型，是因为其预测的根据是联合概率 P(Y|X)
- 联合概率可以理解为“生成” (Y|X) 样本的概率分布（或称为 依据）
- 具体来说
- 机器学习已知 X，从 Y 的候选集合中选出一个来
- 可能的样本有 (X|Y_1)， (X|Y_2)， (X|Y_3)，……，
- 实际数据是如何“生成”的依赖于 P(Y|X)
- 那么最后的预测结果选“生成”概率最大的那个 Y_i
- 熟悉 Naive Bayes 的都知道，对于输入 X，需要求出好几个联合概率，然后较大的那个就是预测结果 Y
- 常见生成式模型
- 判别式分析：高斯判别模型
- 朴素贝叶斯（Naive Bayes）
- 混合高斯模型（Gaussians）
- K 近邻（KNN）
- 隐马尔科夫模型（HMM）
- 贝叶斯网络
- Sigmoid 信念网络（sigmoid belief networks）
- 马尔科夫随机场（Markov random fields）
- 深度信念网络 DBN
- 隐含狄利克雷分布（LDA，Latent Dirichlet allocation）
- 多专家模型（the mixture of experts model）
4、类比案例
- 判断一只羊是山羊还是绵羊
- 判别模型：
- 从历史数据中学习到模型
- 提取这只羊的特征来预测出这只羊是山羊还是绵羊
- 也就是说根据一只羊的特征可以直接给出这只羊是山羊的概率
- 生成式模型：
- 根据山羊的特征首先学习出一个山羊的模型
- 据绵羊的特征学习出一个绵羊的模型
- 从这只羊中提取特征，放到山羊模型中看概率是多少，放到绵羊模型中看概率是多少
- 概率大的模型类别即这只羊所属的类别
- 也就是说，生成式模型对每一类要都试一试，所得最大概率的那个就是最后结果
参考博客：
https://www.zhihu.com/question/20446337（机器学习“判定模型”和“生成模型”有什么区别）
https://blog.csdn.net/u010358304/article/details/79748153（生成模型 VS 判别模型）