判别模型（discriminative model）和生成模型（generative model）：预测后验概率还是联合概率
- 判别模型：
直接对输入空间到输出空间的映射h(x)做预测，或者直接对条件概率分布P(y|x)做预测
PM，SVM，NN，KNN，LR，DT
模型一般更准确
不需要预设条件
鲁棒性更高
- 生成模型：
先对概率分布P(x,y)做预测，根据贝叶斯公式得到P(y|x)
GDA，NB，HMM
收敛速度一般更快
可以训练包含隐变量的模型
需要假设的先验分布
可以还原出联合概率分布P(x,y)
可以还原出判别模型，但反过来不行
概率模型（probability model）和非概率模型（nonprobability model）：预测概率还是预测映射
- 非概率模型：
直接对输入空间到输出空间的映射h(x)做预测
PM，SVM，NN，KNN
- 概率模型：
对条件概率分布P(y|x)做预测
LR，DT，GDA，NB，HMM
参数模型（parametric model）和非参数模型（nonparametric model）：模型由训练数据本身构成还是模型参数构成
- 参数模型：
模型中包含若干参数，训练完成则训练数据无用，根据模型参数预测结果
LR，PM，GDA，NB，简单NN，HMM
需要训练数据较少，训练较快
需要假设空间与实际映射空间吻合
模型容易理解
不适合实际映射隐藏的情况
- 非参数模型：
模型由训练数据本身构成
SVM，KNN，DT
需要训练数据较多，训练较慢
不需要假定假设空间，如果训练集无限大可以无限逼近实际映射
训练集小时容易过拟合
预测性能高
参考文献：
https://blog.csdn.net/qq_39521554/article/details/79134274
https://blog.csdn.net/pandamax/article/details/78636834
https://www.cnblogs.com/zeze/p/7047630.html