散点总结系列全是自己在学习过程中总结出来的一些知识点，参考了各位大牛的博客和知乎上一些人的回答，非原创，只是个搬运工。。。。。
一、关于逻辑回归
1.模型
2.逻辑回归是用极大似然估计来学习参数 ，关于逻辑回归的一些推导如下：
单个样本的后验概率：
，整体的概率：
为了计算方便，对似然函数取log得到:
得到上面的函数后，要求该似然函数的最大值，但一般我们是需使loss function最小，所以取逻辑回归的损失函数为-l(θ)：
对θ求偏导之后，得到θ的更新式子，该式子和线性回归得出的更新式子是一样的。线性回归和逻辑回归拟合曲线不同，代价函数也不同（平方误差），线性回归只有一个全局最优解
3.关于几个损失函数的对比
解释下上图的黑色为0-1损失，蓝色为指数损失，红色为对数损失就是逻辑回归用的，绿色为合页损失SVM用的。
对数损失标准形式为：
，逻辑回归中P(Y=y|x)表达式如下：
，写在一个式子里就是：
。
之所以和图中的对数损失形式不太一样，是因为图中取的是y=+1/-1的情况，逻辑回归中取的的1/0，只是两个式子合并起来的时候形式不同，本质是一样的。
二、关于决策树
1.ID3:算一遍每个特征分完类后的信息增益，挑个最大的分类，信息增益为g(D,A)=H(D)-H(D|A)。
2.ID3例子
3.C4.5用信息增益比来代替信息增益，因为信息增益有利于类别多的特征，其中gr(D,A)=g(D,A)/H(D)。
4.CART算法：回归树用平方误差最小化准则，分类数用基尼指数最小化准则，GBDT每棵树用的就是CART树，具体在GBDT中解释。