一、生成式和判别式模型
1、定义:
判别式模型:直接对条件概率p(y|x;Θ)建模,常见的有线性回归、逻辑斯蒂回归(LR)、线性判别分析(LDA),支持向量机(SVM)、神经网络、分类回归树(CART)。
生成式模型:对联合分布p(x,y)建模,然后用贝叶斯公式来求得p(yi|x),然后选取使得p(yi|x)最大的yi。如隐马尔可夫模型、朴素贝叶斯、高斯混合模型、贝叶斯网络。
二、核函数
1.定义:
是对称的,且核矩阵半正定(zTMz> 0)。
2.类型:
线性核、多项式核、高斯核、拉普拉斯核、sigmoid核