（手机的颜色，大小，用户体验来加权统计总体的值）极大似然估计MLE
1.Logistic回归
Logistic regression （逻辑回归），是一种分类方法，用于二分类问题（即输出只有两种）。如用于广告预测，也就是根据某广告被用户点击的可能性，把最可能被用户点击的广告摆在用户能看到的地方，结果是用户要么点击要么不点击。
通常两类使用类别标号0和1表示，0表示不发生，1表示发生。
问题引入
例如：有100个手机，其中有30个是你喜欢的，70个是不喜欢的。现预测你对第101个手机的喜好。这是一个两类问题，喜欢与不喜欢。
显然这是一个二分类问题，我们对第101个手机进行预测分类，分为喜欢和不喜欢两个类别。
我们需要对手机取特征（属性），比如价格，外观，用户体验。简单处理，只考虑3个方面(即3个特征)。综合考虑这些因素，并且把这些值进行数字化的表示。数字越大说明越喜欢，越小越不喜欢。
怎么数字化表示这些量呢？
对每部手机对应价格，外观，用户体验都可以给出一个具体的数值。
我们回忆一下贝叶斯分类：
2. Sigmoid 函数
3.Sigmoid函数性质
分类性质
回顾我们的后验概率如何分类的，每个可以观测的样本都有属于某类的概率。分类时候选取后验概率大的值进行分类。这里是两分类问题每个样本均可带入P(y=1|x)和P(y=0|x)谁的概率值大，我们就将样本归入某类。
现在分类模型为下边公式，但含有未知量 ，只要求出 就可以对样本，就可以带入样本就行计算，对样本进行分类。
如何求未知参数 ？我们有m个样本，思路是建立一个目标函数，求目标函数极值。极值处的 值，就是我们最优未知参数值。
参数估计
假设分类的概率
上面的概率可以写到一起 （类似二项分布）
m个样本的似然函数为
对数似然函数
使得似然函数值最大？梯度下降(上升)法。
似然函数求导
常规方法时效。故用梯度下降法
Logistic回归中是未知参数 ，目标是求出 。通过构建似然函数，目标使似然函数最大。
回顾我们梯度下降法。
（J是上边的L函数,手误）问题解决
4.梯度上升法
目标使似然函数最大，我们可以使用梯度上升法进行迭代。
梯度下降法根据样本使用的不同，一次使用所有样本更新参数为批处理梯度下降法。一次只随机使用一个样本来更新参数随机梯度下降法。
同样我们的Logistic回归可以使用批处理梯度上升法和随机梯度上升法。梯度上升法和梯度下降法都是寻找函数的极值，只是搜索方向的不同而已。根据具体函数的性质，进行选择，两者没有本质的不同。
我们容易通过把函数转换成，把极大化问题转换成极小化问题。函数加负号即可。
5.批处理梯度下降法
6.随机梯度下降法
7.代码实现
准备数据，样例数据如下，前两列分别为x1和x2值，第3列为数据的类别，这样的数据有100条。
批处理梯度下降(上升)算法计算最佳回归系数
矩阵为什么要转置?
运行测试
if __name__ == "__main__":
dataMat,classLabels=loadDataSet()
weights=gradAscent(dataMat, classLabels)
plotBestFit(weights.getA())
8.随机梯度下降(上升)法SGD (stochastic gradient descent)
运行测试
if __name__ == "__main__":
dataAttr, labelMat = loadDataSet()
weights = stocGradAscent0(array(dataAttr), labelMat)
plotBestFit(weights)
9.改进的随机梯度下降
运行测试
if __name__ == "__main__":
dataAttr, labelMat = loadDataSet()
weights = stocGradAscent1(array(dataAttr), labelMat)
plotBestFit(weights)
运行结果对比
比较原始的随机梯度下降和改进后的梯度下降，可以看到两点不同：
1）系数不再出现周期性波动。
2）系数可以很快的稳定下来，也就是快速收敛。这里只迭代了20次就收敛了。而上面的随机梯度下降需要迭代200次才能稳定。
(a)梯度下降算法迭代500次。
(b)随机梯度下降算法迭代200次。
(c)改进的随机梯度下降算法迭代20次。
(d)改进的随机梯度下降算法迭代200次。
10.示例：从疝气病症预测病马是否存活
一、处理数据中的缺失值
二、用Logistic回归进行分类
运行测试
if __name__ == "__main__":
multiTest()
11.总结
