zoukankan      html  css  js  c++  java
  • 机器学习基础-Logistic回归1

    利用Logistic回归进行分类的主要思想是:根据现有数据对分类边界线建立回归公式,以此进行分类。

    训练分类器时的做法就是寻找最佳拟合参数,使用的时最优化算法。

    优点:计算代价不高,利于理解和实现。

    缺点:容易欠拟合,分类精度可能不高。

    适用数据类型:数值型和标称型数据。

    最优化算法:1基本的梯度上升法 2改进的梯度上升法

    海维塞德阶跃函数=单位阶跃函数(该函数在跳跃点上从0瞬间跳跃到1),这个顺时跳跃过程很难处理。幸好,另一个函数也有类似的性质,而且数学上更容易处理,这就是Sigmoid函数。具体的计算公式如下:

    σ(z) =1/(1+e-z)

    当z为0时,Sigmoid函数值为0.5。随着x的增大,对应的Sigmoid函数值将逼近于1;而随着x的减小,Sigmoid值将逼近于0。如果横坐标刻度足够大,Sigmoid函数看起来很像一个阶跃函数。因此为了实现Logistic回归分类器,我们可以在每个特征上都乘以一个回归系数,然后把所有的结值相加,将这个总和代入Sigmoid函数中,进而得到一个范围在0~1之间的数值。

    确定了分类器的函数形式之后,现在的问题变成了:最佳回归系数是多少?如何确定他们的大小?

    基于最优化方法的最佳回归系数确定

    sigmoid函数的输入记为z,由下面公式得出:z=w0x0+w1x1+w2x2+...+wnxn,如果采用向量的写法,上述公式可以写成Z=wTx。其中向量x是分类器的输入数据,向量w也就是我们要找到的最佳参数。


    下面将要介绍寻找最优参数的梯度上升法和随机梯度上升法

    1梯度上升法-要找到某函数的最大值,最好的方法是沿着该函数的梯度方向探寻。

     用向量来表示的话,梯度算法的迭代公式如下:

              w:=w+αΔwf(w)                 Δwf(w):移动方向;α:步长。

    该公式将一直被执行,直到达到某个条件为止,比如迭代次数达到某个指定值或者算法达到某个允许的误差范围。

    梯度上升算法用来求函数的最大值,而梯度下降算法用来求函数的最小值。

    #Logistic回归梯度上升优化算法(代码)如下:
    #!/usr/bin/env python
    from numpy import *
    
    def loadDataSet():
        dataMat=[];labelMat=[]
        fr = open('testSet.txt')
        for line in fr.readlines():
            lineArr=line.strip().split()
            dataMat.append([1.0,float(lineArr[0]),float(lineArr[1])]) #x0,x1,x2组成的三维数据集 
            labelMat.append(int(lineArr[2])) #类别标签
        return dataMat,labelMat
    
    def sigmoid(inX):
        return 1.0/(1+exp(-inX))
    
    def gradAscent(dataMatIn,classLabels):
        dataMatrix=mat(dataMatIn)
        labelMat=mat(classLabels).transpose() #转换为NumPy矩阵数据类型
        m,n=shape(dataMatrix)
        alpha=0.001
        maxCycles=500 #循环500次
        weights=ones((n,1))
        for k in range(maxCycles):
            h=sigmoid(dataMatrix*weights)
            error=(labelMat-h)
            weights=weights+alpha*dataMatrix.transpose()*error #更新参数
        return weights
    
    
    dataArr,labelMat=loadDataSet()
    print gradAscent(dataArr,labelMat)
    

       

    #画出分隔线,从而使得优化的过程便于理解,在上述代码后添加如下代码: 

    def plotBestFit(wei):
        import matplotlib.pyplot as plt
        weights=wei.getA()
        dataMat,labelMat=loadDataSet()
        dataArr=array(dataMat)
        n=shape(dataArr)[0]
        xcord1=[];ycord1=[]
        xcord2=[];ycord2=[]
        for i in range(n):
            if int(labelMat[i])==1:
                xcord1.append(dataArr[i,1]);ycord1.append(dataArr[i,2])
            else:
                xcord2.append(dataArr[i,1]);ycord2.append(dataArr[i,2])
        fig = plt.figure()
        ax=fig.add_subplot(111)
        ax.scatter(xcord1,ycord1,s=30,c='red',marker='s')
        ax.scatter(xcord2,ycord2,s=30,c='green')
        x=arange(-3.0,3.0,0.1)
        y=(-weights[0]-weights[1]*x)/weights[2]
        ax.plot(x,y)
        plt.xlabel('x1');plt.ylabel('x2')
        plt.show()
    
    dataArr,labelMat=loadDataSet()
    weights=gradAscent(dataArr,labelMat)
    plotBestFit(weights.getA())

     简单的测验数据(testSet.txt):

    -1 -2 0
    -2 -3 0
    -3 -4 0
    -4 -5 0
    -5 -6 0
    6 7 1
    -3 -2 0
    7 5 1
    6 3 1
    5 4 1
    7 3 1

  • 相关阅读:
    03-JS事件循环-宏任务与微任务
    10-Promise.all和Promise.race
    nodeJS-04
    nodeJS-03
    01-npm / npm install的过程 -nodemon 自动重启
    nodeJS-02
    nodeJS-01
    01-git
    比较运算符,in,instanceof——第十二级
    TCP(Transmission Control Protocol 传输控制协议)
  • 原文地址:https://www.cnblogs.com/ryuham/p/4194390.html
Copyright © 2011-2022 走看看