zoukankan      html  css  js  c++  java
  • logistic逻辑回归、最优化算法

    本篇用到的数据,链接:https://pan.baidu.com/s/1DVr3Ke7jfz3dQzXwz4BjGg
    提取码:v8fo

    #logistic逻辑回归、最优化算法
    '''
    下面主要说下
    sigmoid函数和logistic回归分类器
    最优化理论初步
    梯度下降最优化算法
    数据中的缺失项处理
    '''
    '''
    优点:计算代价不高,易于理解和实现。
    缺点:容易欠拟合,分类精度可能不高。
    适用数据类型:数值型和标称型数据。
    '''
    '''
    logistic逻辑回归主要利用sigmoid函数
    sigmoid函数的输入记为z,由下面公式得出:
        z=w_0*x_0+w_1*x_1+w_2*x_2+...+w_n*x_n
    如果采用向量的写法,上述公式可以写成z=w^T*x,它表示将这两个数值向量对应元素相乘然后全部加起来
    即得到z值。其中的向量x是分类器的输入数据,向量w也就是我们要找的最佳参数,从而使分类尽可能地精确
    
    梯度上升法(一种最优化算法):
        公式:
        梯度上升法基于的思想是:要找某函数的最大值,最好的方法就是沿着该函数的梯度方向探寻。
    你经常听到的应该是梯度下降算法,它与这里的梯度上升算法是一样的,只是公式中的加法变成减法。
    '''
    from numpy import *
    
    def loadDataSet():
        dataMat = []; labelMat = []
        fr = open('testSet.txt')
        for line in fr.readlines():
            lineArr = line.strip().split()
            #dataMat.append( [1.0, float(lineArr[0]), float(lineArr[1])] )
            dataMat.append( [float(lineArr[0]), float(lineArr[1])] )
            labelMat.append(int(lineArr[2]))
        return dataMat,labelMat
    
    def sigmoid(inX):
        return 1.0/(1+exp(-inX))    #exp() 以e为底的指数函数
     
    #梯度上升
    def gradAscent(dataMatIn, classLabels):
        #转换为Numpy矩阵数据类型
        datMatrix = mat(dataMatIn)
        labelMat = mat(classLabels).transpose()
        m,n = shape(datMatrix)
        alpha = 0.001   #移动步长
        maxCycles = 500 #迭代次数
        weights = ones((n, 1))  #权重矩阵形状为3行 1列 值为1.
        #print(weights)
        for k in range(maxCycles):
            '''
            #矩阵运算。变量h不是一个数而是一个列向量,列向量的元素的元素个数等于样本个数,这里是100.
            对应的,运算datMatrix * weights 代表不止一次乘积计算,事实上包含了300的乘积。
            '''
            h = sigmoid(datMatrix * weights)
            error = (labelMat -h)
            weights = weights + alpha * datMatrix.transpose() * error
        return weights
    
    #分析数据:画出决策边界
    def plotBestFit(weights):
        import matplotlib.pyplot as plt
        dataMat,labelMat=loadDataSet()
        dataArr = array(dataMat)
        n = shape(dataArr)[0]
        xcord1=[]; ycord1=[]
        xcord2=[]; ycord2=[]
        for i in range(n):
            if int(labelMat[i]) == 1:
                xcord1.append(dataArr[i,1]); ycord1.append(dataArr[i,2])
            else:
                xcord2.append(dataArr[i,1]); ycord2.append(dataArr[i,2])
        fig = plt.figure()
        ax = fig.add_subplot(111)
        ax.scatter(xcord1, ycord1, s=30, c='red', marked='a')
        ax.scatter(xcord2, ycord2, s=30, c='green')
        x=arange(-3.0, 3.0, 0.1)
        y = (-weights[0]-weights[1]*x/weights[2])
        ax.plot(x, y)
        plt.xlabel('X1'); plt.ylabel('X2')
        plt.show()
    
    #随机梯度上升
    def stocGradAscent0(dataMatrix, classLabels):
        m,n = shape(dataMatrix)
        alpha = 0.01
        weights = ones(n)   #1行,n列,值为1. 矩阵
        for i in range(m):
            h = sigmoid(sum(dataMatrix[i]*weights))
            error = classLabels[i] - h
            weights = weights + alpha * error * dataMatrix[i]
        return weights
    
    #改进的随机梯度上升算法
    def stocGradAscent1(dataMatrix, classLabels, numIter=150):
        m,n = shape(dataMatrix)
        weights = ones(n)
        for j in range(numIter):
            dataIndex=list(range(m))
            for i in range(m):
                alpha = 4/(1.0+j+i)+0.01        #步长越来越小
                #随机选取样本来更新回归系数。将减少周期性的波动
                randIndex = int(random.uniform(0, len(dataIndex)))
                h = sigmoid(sum(dataMatrix[randIndex]*weights))
                error = classLabels[randIndex] - h
                weights = weights +alpha*error*dataMatrix[randIndex]
                del(dataIndex[randIndex])
        return weights
    
    #示例:从疝气病症预测病马的死亡率
    '''
    本节将使用logistic回归来预测患有疝病的马的存活问题,数据包含368个样本和28个特征。
    '''
    def classifyVector(inX, weights):
        prob = sigmoid(sum(inX*weights))
        if prob > 0.5: return 1.0
        else: return 0.0
    
    def colicTest():
        frTrain = open('horseColicTraining.txt')
        frTest = open('horseColicTest.txt')
        trainingSet=[]; trainingLabels=[]
        for line in frTrain.readlines():
            currLine=line.strip().split('	')
            lineArr=[]
            for i in range(21):
                lineArr.append(float(currLine[i]))
            trainingSet.append(lineArr)
            trainingLabels.append(float(currLine[21]))
        trainWeights = stocGradAscent1(array(trainingSet), trainingLabels, 500)
        errorCount = 0; numTestVec = 0.0
        for line in frTest.readlines():
            numTestVec += 1.0
            currLine = line.strip().split('	')
            lineArr = []
            for i in range(21):
                lineArr.append(float(currLine[i]))
            if int(classifyVector(array(lineArr), trainWeights)) != int(currLine[21]):
                errorCount += 1
        errorRate = (float(errorCount)/numTestVec)
        print ("the error rate of this test is: %f" % errorRate)
        return errorRate
    
    def muliTest():
        numTests = 10; errorSum = 0.0
        for k in range(numTests):
            errorSum += colicTest()
        print("after %d iterations the average error rate is: 
            %f" % (numTests, errorSum/float(numTests)))
    
    
    if __name__ == '__main__':
        '''
        dataArr,labelMat=loadDataSet()
        ret=gradAscent(dataArr, labelMat)
        print(ret)
        '''
        #从疝气病预测病马的死亡率
        muliTest()
    
    
    '''
    小结:
    Logistics回归的目的是寻找一个非线性函数Sigmoid的最佳拟合参数,求解过程可以由最优化算法完成。
    在最优化算法中最常用的就是梯度上升算法,而梯度上升算法又可以简化为随机梯度上升算法。
    随机梯度上升算法和梯度上升算法的效果相当,但占用更少的计算资源。此外,随机梯度上升是一个在线算法,
    它可以在新数据到来时就完成参数更新,而不需要重新读取整个数据集来进行批处理运算。
    '''
  • 相关阅读:
    基础概述 01
    VMware Workstation Pro 无法在Windows 上运行 检查可在Windows上运行的此应用的更新版
    在博客园安家
    mysql的主从复制配置
    PHP 9 大缓存技术总结
    Mysql分库分表方案
    VMware 虚拟机的网络连接方式详解
    关于memecache的使用及清楚示意
    SVN:冲突解决 合并别人的修改
    Linux环境Nginx安装多版本PHP
  • 原文地址:https://www.cnblogs.com/go-ahead-wsg/p/13476041.html
Copyright © 2011-2022 走看看