第八章：线性回归

　　这一章先从最简单的回归开始，也就是基于普通最小二乘的线性回归。f(x)=w0x0+w1x1+w2x2+....。问题就在于求W矩阵。平方误差求导可得：W估计=（X^^TX）^^-1X^^Ty。自写模块代码如下：

#!/usr/bin/env python
#-*-coding:utf-8 -*-

from numpy import *
import matplotlib.pyplot as plt
'''
基于普通最小二乘的线性回归
'''

def loadDataSet(fileName):
    """ 加载数据
        解析以tab键分隔的文件中的浮点数
    Returns：
        dataMat ：  feature 对应的数据集
        labelMat ： feature 对应的分类标签，即类别标签

    """
    # 获取样本特征的总数，不算最后的目标变量
    numFeat = len(open(fileName).readline().split('	')) - 1
    dataMat = []
    labelMat = []
    fr = open(fileName)
    for line in fr.readlines():
        # 读取每一行
        lineArr =[]
        # 删除一行中以tab分隔的数据前后的空白符号
        curLine = line.strip().split('	')
        # i 从0到2，不包括2
        for i in range(numFeat):
            # 将数据添加到lineArr List中，每一行数据测试数据组成一个行向量
            lineArr.append(float(curLine[i]))
            # 将测试数据的输入数据部分存储到dataMat 的List中
        dataMat.append(lineArr)
        # 将每一行的最后一个数据，即类别，或者叫目标变量存储到labelMat List中
        labelMat.append(float(curLine[-1]))
    return dataMat,labelMat


def standRegres(xArr,yArr):
    '''
    Description：
        线性回归
    Args:
        xArr ：输入的样本数据，包含每个样本数据的 feature
        yArr ：对应于输入数据的类别标签，也就是每个样本对应的目标变量
    Returns:
        ws：回归系数
    '''

    # mat()函数将xArr，yArr转换为矩阵 mat().T 代表的是对矩阵进行转置操作
    xMat = mat(xArr)
    yMat = mat(yArr).T
    # 矩阵乘法的条件是左矩阵的列数等于右矩阵的行数
    xTx = xMat.T*xMat
    # 因为要用到xTx的逆矩阵，所以事先需要确定计算得到的xTx是否可逆，条件是矩阵的行列式不为0
    # linalg.det() 函数是用来求得矩阵的行列式的，如果矩阵的行列式为0，则这个矩阵是不可逆的，就无法进行接下来的运算
    if linalg.det(xTx) == 0.0:
        print("This matrix is singular, cannot do inverse")
        return
    # 最小二乘法
    # http://cwiki.apachecn.org/pages/viewpage.action?pageId=5505133
    # 书中的公式，求得w的最优解
    ws = xTx.I * (xMat.T*yMat)
    return ws


def regression1():
    xArr, yArr = loadDataSet("E:ML_datadata.txt")
    xMat = mat(xArr)
    yMat = mat(yArr)
    ws = standRegres(xArr, yArr)
    fig = plt.figure()
    ax = fig.add_subplot(111)               #add_subplot(349)函数的参数的意思是，将画布分成3行4列图像画在从左到右从上到下第9块
    ax.scatter(xMat[:, 1].flatten().A[0], yMat.T[:, 0].flatten().A[0]) #scatter 的x是xMat中的第二列，y是yMat的第一列
    xCopy = xMat.copy()
    xCopy.sort(0)       # 排序是因为ax.scatter中也排序了
    yHat = xCopy * ws     # 预测出的y值
    ax.plot(xCopy[:, 1], yHat)
    plt.show()

if __name__ == '__main__':
    regression1()

这里输入的数据格式：

第一列是x0,第二列是x1,最后一列是y.因为x0都为1，其实y=w0+w1*x1。结果如下：

　　到此最简单线性规划基本结束，但是它至少存在两个缺点，第一，这种线性规划很容易欠拟合，因为它就是一条直线。故又引出了局部加权线性规划（里面有一个核参数K要调，调不好就过拟合）；第二，这个在计算W矩阵是用到逆矩阵，但是不是总存在逆矩阵的。上面自写模块时，如果出现不可逆情况，就会print错误。当特征比样本点还多（n>m）时，x矩阵不满秩。故缩减系数，具体可以岭回归（ridge regression）、lasso（计算复杂）、前向逐步回归（效果可以达到lasso），自写模块与介绍见这里。

　　sklearn中也有线性回归，刚才上面其实提到了五个线性回归算法，第一个算是普通线性回归，第二个是局部加权线性回归，第三个是岭回归（ridge）,第四个是LASSO回归，第五个前向逐步回归。看这里与应用。第一个链接里面有讲回归的评价方式，sklearn中也有专业的评价模块。