机器学习实战笔记-2-7分类机器学习形象化总结

1. kNN算法：就看测试向量距哪种更近，前k个最近的点中哪类多，预测结果就是哪类。
   

2. 决策树：选择用来划分数据集的最好特征(最大的(infoGain = baseEntropy - newEntropy))，对该特征的每一个值创建一个子节点，递归至label完全相同或已用完所有特征。
   

3. 朴素贝叶斯：if (pleft( c_{1} middle| x,y ight) > pleft( c_{2} middle| x,y ight))，则属于类别c2。假设：每个特征相互独立且同等重要。

   [pleft( c_{i} middle| x,y ight) = frac{pleft( x,y middle| c_{i} ight)p(c_{i})}{p(x,y)} ightarrow pleft( x middle| c_{i} ight) ullet pleft( y middle| c_{i} ight) ullet p(c_{i}) ]

![](https://img2018.cnblogs.com/blog/1153181/201908/1153181-20190830141201516-360577489.png

4. Logistic回归：将回归系数特征向量的乘积和代入Sigmoid函数，利用Sigmoid构成测试集的联合概率—极大似然概率，按极大似然增加的梯度*alpha(步长)增大回归系数后进行迭代，直到迭代完所有样本。本质是：在训练样本下的极大似然概率最大时的回归系数。