机器学习十讲——第二讲

一、前言

    今天主要是讲解了有监督学习中回归的一系列问题，从简单的线性回归到岭回归、LASSO回归等。
回归问题简单来说就是根据所选定的特征值，通过选定的参数也就是权重，计算出预测的目标值，而学习的过程就是得出最符合的权重，使得预测值能够接近真实的目标值。

二、笔记

NumPy 矩阵求逆函数

numpy.linalg 模块包含线性代数的函数，可计算逆矩阵、求特征值、解线性方程组以及求解行列式等。

行列式：np.linalg.det(A)    (判断是否存在逆矩阵)
计算逆矩阵:np.linalg.inv(A)

回归如今指的用一个或多个自变量来预测因变量的数学方法。
在机器学习中，回归指的是一类预测变量为连续值的有监督学习学习方法

在回归模型中，需要预测的变量叫做因变量，用来解释因变量变化的变量叫做自变量。

一元线性回归

多元线性回归（寻找一个超平面，使得训练集中样本到超平面的误差平方和最小）
    多元线性回归的矩阵表示
        假设训练集的特征部分即为n*(d+1)矩阵X，其中最后一列取值权威1
        标签部分即为y=y(y1,y2,...yn)T,参数即为w=(w1,w2,...wd,w0)T

多项式回归：使用原始特征的二次项、三次项
    线性回归解决非线性问题
    问题：维度灾难、过度拟合

岭回归
    思路：线性回归目标函数加上对w的惩罚函数