机器学习实战（Machine Learning in Action）学习笔记————05.Logistic回归

机器学习实战（Machine Learning in Action）学习笔记————05.Logistic回归

关键字：Logistic回归、python、源码解析、测试
作者：米仓山下
时间：2018-10-26
机器学习实战（Machine Learning in Action,@author: Peter Harrington）
源码下载地址：https://www.manning.com/books/machine-learning-in-action
git@github.com:pbharrin/machinelearninginaction.git

*************************************************************
一、Logistic回归

Sigmoid函数输入为z，z=w0x0+w1x1+w2x2+…wnxn,又写成z=WTX
Sigmoid函数为σ(z)=1/(1+exp(-z))

#Logistic回归分类的原理：训练得到系数矩阵W，将位置特征向量带入Sigmoid，计算得到一个位于0~1之间的数，大于0.5则属于1类，小于0.5则属于0类。

梯度上升法：要找到某个函数的最大值，最好的方法就是沿着该函数梯度的方向探寻。如果梯度记为▽，则函数f(x,y)的梯度表示为：

梯度上升算法到达每个点后都会重新估计移动的方向。从P0开始，计算该点的梯度，函数就根据梯度移动到下一个点P1。在P1点，梯度再次被重新计算，并沿新的梯度方向移动到P2。如此迭代，直到满足停止条件。迭代的过程中，梯度算子总是保证我们能够取到最佳的移动方向。

梯度的方向就是导数最大值的方向，即函数变化率最快的方向。梯度可以通过对函数求导得到。向梯度相反方向移动保证每一次迭代都在减少下降局部全局最小值

用向量来表示的话，梯度算法的迭代公式为：w:=w+α▽wf(w)公式一直迭代下去，直到某个指定值或算法达到某个可以允许的误差范围。
这本书中用的是梯度上升，平时听到比较多的是梯度下降法，其实是一样的，只是移动的方向不同：梯度上升用来求解最大值，梯度下降用来求解最小值。接触过深度学习就知道，梯度下降在求解参数矩阵时非常重要。

主要看两个函数：

#Logistic函数σ(z)=1/(1+exp(-z))
def sigmoid(inX):
    return 1.0/(1+exp(-inX))

#Logistic回归梯度上升优化算法
def gradAscent(dataMatIn, classLabels):
    dataMatrix = mat(dataMatIn)             #convert to NumPy matrix
    labelMat = mat(classLabels).transpose() #convert to NumPy matrix
    m,n = shape(dataMatrix)
    alpha = 0.001                           #移动步长
    maxCycles = 500                         #迭代次数
    weights = ones((n,1))                   #初始化系数向量
    for k in range(maxCycles):              #heavy on matrix operations
        h = sigmoid(dataMatrix*weights)     #matrix mult
        error = (labelMat - h)              #[注].vector subtraction
        weights = weights + alpha * dataMatrix.transpose()* error #[注].matrix mult
    return weights

[注]书中省略了梯度的推导过程。构造的损失函数为P(y|x;θ)=(hθ(x))^y * (1-hθ(x))^(1-y)，其中h即Logistic函数σ，取其似然函数和最大似然函数，求最大似然估计，然后求导就可以得到上面的结果。参考网址************或则书*******
--------------------------------------------------------------
测试：

>>> import logRegres
>>> data,lable=logRegres.loadDataSet()
>>> w=logRegres.gradAscent(data,lable)
>>> w
matrix([[ 4.12414349],
        [ 0.48007329],
        [-0.6168482 ]])
>>>
#画出决策边界
>>> logRegres.plotBestFit(w.getA())
>>> 

（图-画出决策边界）
--------------------------------------------------------------
方法优化1：随机梯度上升————每次迭代仅用一个样本点来更新回归系数。
对应logRegres.stocGradAscent0方法，迭代次数为数据的条数


方法优化2：改进的随机梯度上升————每次迭代时，调整alpha大小，alpha = 4/(1.0+j+i)+0.0001
alpha随着迭代次数增加不断减小，但又不等于零

--------------------------------------------------------------
#分类函数，在求得参数weights后将其和测试数据inX（向量）带入如下公式，就可以完成二类判别

def classifyVector(inX, weights):
    prob = sigmoid(sum(inX*weights))
    if prob > 0.5: return 1.0
    else: return 0.0

*************************************************************
二、示例：从疝气病症预测马的死亡率

处理数据中的缺失值的方法：
#使用可用特征的均值来填补缺失值；
#使用特殊值来填补缺失值，如-1；
#忽略有缺失值的样本；
使用相似样本均值补缺缺失值；
使用另外的机器学习算法预测缺失值

这个例子中用了0来补缺失值,数据包含28个特征和1列标签（分类两类），horseColicTraining.txt为训练数据，horseColicTest.txt为测试数据。
使用改进的随机梯度上升stocGradAscent1算法，对数据进行测试

>>> logRegres.colicTest()#colicTest()为循环训练1000次再进行测试的效果
logRegres.py:18: RuntimeWarning: overflow encountered in exp
  return 1.0/(1+exp(-inX))
the error rate of this test is: 0.373134
0.373134328358209
>>>
>>> logRegres.multiTest()#colicTest()执行10次的平均错误率
the error rate of this test is: 0.343284
the error rate of this test is: 0.358209
the error rate of this test is: 0.343284
the error rate of this test is: 0.343284
the error rate of this test is: 0.268657
the error rate of this test is: 0.253731
the error rate of this test is: 0.343284
the error rate of this test is: 0.268657
the error rate of this test is: 0.447761
the error rate of this test is: 0.283582
after 10 iterations the average error rate is: 0.325373
>>>

其他代码：

sigmoidPlot.py  #s = 1/(1 + exp(-t))函数在[-5,5]和[-60,60]上的形态对比
plotSDerror.py  #stocGradAscent1算法，在迭代过程中，三个参数的变化趋势
plotGD.py       #梯度下降示意图
plot2D.py       #stocGradAscent0进行梯度下降，决策边界