zoukankan      html  css  js  c++  java
  • 逻辑回归-2.逻辑回归方程及实现

    逻辑回归方程

    之前得出逻辑回归的损失函数:

    [J( heta) = -frac{1}{m}sum_{i=1}^{m}y^{(i)}log(sigma (X _b^{(i)} cdot heta))+(1-y^{(i)})log(1-sigma (X_b^{(i)} cdot heta)) ]


    此方程没有数学解析解,只能使用梯度下降法的方法来找到最佳的$ heta $值,使得损失函数最小。
    梯度下降法的表达式(推导过程在这里不进行阐述):

    [frac{J( heta)}{ heta_j} = frac{1}{m}sum_{i=1}^{m}(sigma (X_b^{(i)} cdot heta)-y^{(i)})X_j^{(i)} ]

    比较线性回归的梯度表达式及向量化后的表达式:

    [frac{J( heta)}{ heta_j} = frac{2}{m}sum_{i=1}^{m}(X_b^{(i)} cdot heta-y^{(i)})X_j^{(i)} ]

    [Lambda J = frac{2}{m}(X_b heta -y)^Tcdot X_b = frac{2}{m}X_b^T cdot (X_b heta -y) ]

    不难得出逻辑回归向量化后的梯度表达式:

    [Lambda J = frac{1}{m}X_b^T cdot (sigma (X_b heta) -y) ]

    算法实现

    加载鸢尾花数据集

    import numpy
    from sklearn import datasets
    from mylib import LogisticRegression
    from matplotlib import pyplot
    
    iris = datasets.load_iris()
    X = iris.data
    y = iris.target
    
    # 取y值为0和1的数据,为了数据可视化,特征只取两个
    X = X[y<2,:2]
    y = y[y<2]
    

    绘制数据集

    pyplot.scatter(X[y==0,0],X[y==0,1],color='red')
    pyplot.scatter(X[y==1,0],X[y==1,1],color='blue')
    pyplot.show()
    

    用封装好的逻辑回归,查看准确率:

    from mylib.model_selection import train_test_split
    
    x_train,x_test,y_train,y_test = train_test_split(X,y,seed =666)
    
    logic_reg = LogisticRegression.LogisticRegression()
    logic_reg.fit(x_train,y_train)
    logic_reg.score(x_test,y_test)
    


    可以看出,预测准确率100%

  • 相关阅读:
    登陆界面
    信号和槽
    线程同步
    java script简介
    css粘性定位sticky的使用
    vue中使用qrcodejs2生成二维码
    webpack基本使用
    总结一些h5出现的问题及解决方案
    srcset属性配合w宽度描述符配合sizes属性
    vw实现页面布局
  • 原文地址:https://www.cnblogs.com/shuai-long/p/11401133.html
Copyright © 2011-2022 走看看