线回与非线回---梯度下降法--多元线性回归

前言：

这次我来使用梯度下降法来解决多元线性回归问题，实际问题中每个事物都带有很多属性，一个参数往往只出现于理想情况，因此解决多元问题是很重要的。

正文：

import numpy as np
from numpy import genfromtxt
#genfromtxt使用的比较频繁
#就把他拉出来单独用了，不用次次都调用np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
#mpl_toolkits.mplot3d是用来画3d图的
#参数多了，就需要多维平面来解决问题了

#读入你需要使用的数据
data=genfromtxt("Delivery.csv",delimiter=',')
print(data)

数据展示如下：

#切分数据
#这里我希望y_data代表的是theta0
#x_data代表除theta0以外的参数
#因此切分数据时把第一和第二列给x_data,最后一列给y_data
#代表了最后一列是theta0的值，其余为其他参数的值
x_data = data[:,:-1]
y_data = data[:,-1]
print(x_data)
print(y_data)

数据切分情况，看得出来成功切成了两部分：

#学习率
lr = 0.0001
#设置参数，只不过参数由一元变成了多元，想要几个就设置几个
theta0 = 0
theta1 = 0
theta2 = 0
#最大迭代次数
epochs = 1000
#最小二乘法，这一步仍然是在算j（theta）
def compute_error(theta0,theta1,theta2,x_data,y_data):
    totalError = 0
    for i in range(0,len(x_data)):
        totalError +=(y_data[i]-(theta1*x_data[i,0]+theta2*x_data[i,1]+theta0))**2
    return totalError/float(len(x_data)
 #这个函数和一元函数的相似，也是用来求各个参数的值
 def gradient_descent_runner(x_data,y_data,theta0,theta1,theta2,lr,epochs):
    #计算总数据量
    m = float(len(x_data)
    #循环开始，epochs的值自己设置
    for i in range(epochs):
        theta0_grad = 0
        theta1_grad = 0
        theta2_grad = 0
        #下面的循环是来给每个参数进行求偏导
        #用已经求好的公式，把数据进行带入即可
	for j in range(0,len(x_data)):
            theta0_grad += -(1/m)*(y_data[j]-(theta1*x_data[j,0]+theta2*x_data[j,1]+theta0))
            theta1_grad += -(1/m)*(x_data[j,0])*(y_data[j]-(theta1*x_data[j,0]+theta2*x_data[j,1]+theta0))
            theta2_grad += -(1/m)*(x_data[j,1])*(y_data[j]-(theta1*x_data[j,0]+theta2*x_data[j,1]+theta0))
        #上面的循环结束后，再开始更新b和k的值
        #符合同步更新的原则，先求值后赋值
        #当然这里的参数多了一个，因为是多元函数嘛
        theta0 = theta0 - (lr*theta0_grad)
        theta1 = theta1 - (lr*theta1_grad)
        theta2 = theta2 - (lr*theta2_grad)
    return theta0,theta1,theta2

#这里开始写主程序，用上面写好的函数来进行求参数值
print("strating theta0 = {0},theta1 = {1},theta2 = {2},error = {3}"
     .format(theta0,theta1,theta2,compute_error(theta0,theta1,theta2,x_data,y_data)))
print("running...")
theta0,theta1,theta2 = gradient_descent_runner(x_data,y_data,theta0,theta1,theta2,lr,epochs)
print("after {0} theta0={1},theta1={2},theta2={3},error = {4}"
      .format(epochs,theta0,theta1,theta2,compute_error(theta0,theta1,theta2,x_data,y_data)))

更新后的参数值：

#这个add_subplot函数暂时没有弄清111到底有什么作用
#但是应该和起始位置有关，网上的回答有些模糊
ax = plt.figure().add_subplot(111,projection = '3d')
#scatter函数里，c代表颜色，marker代表标记点的形状，s代表什么暂不清楚，但默认值是20
ax.scatter(x_data[:,0],x_data[:,1],y_data,c = 'r',marker = 'o',s = 100)
#具体细分x轴和y轴的数据，z轴的值用x，y的值来求
x0= x_data[:,0]
x1 = x_data[:,1]
#生成网格矩阵
#meshgrid函数很方便，直接把切割好的数据放进去
#可以帮你自动生成网格图
x0,x1 = np.meshgrid(x0,x1)
z = theta0+x0*theta1+x1*theta2
#用plot_surface函数来画出3d图
ax.plot_surface(x0,x1,z)
#给你的x，y，z轴起名字
ax.set_xlabel('miles')
ax.set_ylabel('num of deliveries')
ax.set_zlabel('time')
#显示你的图像
plt.show()

图片展示如下：

总结：

这次有两个问题没有很明白，一个是add_subplot里的111到底是干什么的，一个是ax.scatter里的s究竟代表什么，网上的解释究竟代表什么不是很清楚，希望有高手看到可以帮忙解决一下，如果我解决处理了会在评论里发出来！
顺便po两个公式图：