一、概念
逻辑回归(Logistic Regression,LR)是一种广义的线性回归分析模型,属于监督学习算法，需要打标数据，可以用在回归、二分类和多分类等问题上,最常用的是二分类。
线性回归就是通过一条曲线区分不同的数据集，在二分类问题上会有一条直线对其进行区分，如下：
逻辑回归需要每组数据都是都是数值型的，因为需要对其进行运算，得到直线系数，打标数据一般是0和1。
二、计算
逻辑回归的输出是一组特征系数，使用了 y=wx+b这种函数来进行线性拟合，这个问题的y值不是0，就是1。使用上述函数很难快速逼近0-1。为了解决这个问题，我们给出一个激活函数Sigmoid函数：
他在z趋向于无穷小时，逼近于0 ，在t趋向于无穷大时逼近于1。
让 
，函数就变为了：
而
，这样，W的存在就将原本的数据集转换为了一组值在0-1之间的数，我们通过调整W的值，尽可能让数据集的值贴近目标值，即0和1。
由上面介绍可知，y=0.5时刚好是x=0；
y越趋近于0，x越小，且为负数，到负无穷时为0；
反之，y越趋近于1，x越大，且为正数，到正无穷时为1。
逻辑回归会算出一组系数，使样本的值向目标值0或1趋近，越接近目标值越好，预测就会越准确。
这里用梯度下降法来实现逻辑回归。
梯度下降法(Gradient Descent)就是每一次迭代都向目标结果接近一点，直到计算收敛。
梯度下降法的基本思想可以类比为一个下山的过程，以当前的所处的位置为基准，寻找这个位置最陡峭的地方，然后朝着山的高度下降的地方走，同理，如果我们的目标是上山，也就是爬到山顶，那么此时应该是朝着最陡峭的方向往上走。然后每走一段距离，都反复采用同一个方法，最后就能成功的抵达山谷。
梯度下降公式为：
其中
是权重系数每次需要调整的值，
alpha被称之为步长，也叫乘积系数，是为了限制每次调整的大小，调整太大会错过关键信息，调整太小会迭代次数过多，所以要反复调整，
error被称之为梯度，error = sigmoid(XW) - Y，Y是目标列，
我们一般会指定一个初始特征系数，一般设为全是1，即 W=(1,1,1.....,1)，
常数项我们作为增广向量添加到数据集中，增广向量我们全部设为1，同样的，目标列也增加一个1，
最后我们还有设置一个阈值，来作为预测结果的依据，根据上面的描述，梯度下降法可选用sigmoid(XW)和0.5的比较来判断，因为小于0.5，x为负，趋近于0，大于0.5，x为正，趋近于1。
三、实现
# !/usr/bin/env python # -*- coding: utf-8 -*- import numpy as np import matplotlib.pyplot as plt def sigmoid(x): return 1.0 / (1 + np.exp(-x)) def grad_ascent(data_mat, class_label, alpha): data_matrix = np.mat(data_mat) label_mat = np.mat(class_label).transpose() m, n = np.shape(data_matrix) data_matrix = augment(data_matrix) # 增广 n += 1 weight = np.ones((n, 1)) while True: error = sigmoid(data_matrix * weight) - label_mat cha = alpha * data_matrix.transpose() * error if np.abs(np.sum(cha)) < 0.0001: break weight = weight - cha return weight def create_sample(): np.random.seed(10) # 随机数种子，保证随机数生成的顺序一样 n_dim = 2 num = 100 a = 3 + 5 * np.random.randn(num, n_dim) b = 18 + 4 * np.random.randn(num, n_dim) data_mat = np.concatenate((a, b)) ay = np.zeros(num) by = np.ones(num) label = np.concatenate((ay, by)) return {'data_mat': data_mat, 'label': label} def plot_data(samples, plot_type='o'): data_mat = samples['data_mat'] label = samples['label'] n = data_mat.shape[0] cs = ['r', 'g'] dd = np.arange(n) for i in range(2): index = label == i xx = data_mat[dd[index]] plt.plot(xx[:, 0], xx[:, 1], plot_type, markerfacecolor=cs[i], markersize=14) def augment(data_matrix): n, n_dim = data_matrix.shape a = np.mat(np.ones((n, 1))) return np.concatenate((data_matrix, a), axis=1) def classify(data_mat, weight): data_matrix = np.mat(data_mat) data_matrix = augment(data_matrix) d = sigmoid(data_matrix * weight) print(d) r = np.zeros((data_matrix.shape[0], 1)) r[d > 0.5] = 1 return r def plot(weight, data): lx = [0, -weight[2] / weight[0]] ly = [-weight[2] / weight[1], 0] plot_data(data) plt.plot(lx, ly) plt.show() def main(): data = create_sample() final_weight = grad_ascent(data['data_mat'], data['label'], 0.001) print(final_weight) plot(final_weight, data) pred = classify(data['data_mat'], final_weight) label = np.mat(data['label']).T diff = np.sum(pred != label) print(diff, len(label), 1.0 * diff / len(label)) if __name__ == '__main__': main()
四、结果：
weight：
[[ 0.3236568 ]
[ 0.30234029]
[-7.00232679]]
图形：
准确率：
预测不一致：4个
总数：200个
错误率：2%
调整迭代跳出条件为np.abs(np.sum(cha)) < 0.00001，则：
weight：
[[ 1.52741071]
[ 1.08976556]
[-32.00925101]]
图形：
准确率：
预测不一致：3个
总数：200个
错误率：1.5%