斯坦福《机器学习》Lesson1-3感想-------3、线性回归二

从上一篇可知。在监督学习里最重要的就是确定假想函数h(θ),即通过使得代价函数J(θ)最小，从而确定h(θ).

上一篇通过梯度下降法求得J(θ)最小，这篇我们将使用矩阵的方法来解释。

 

1、普通最小二乘法

利用矩阵的方式，m个训练集（x,y）能够例如以下表示：

因此,所以

依据 可知，

为使J(θ)最小，通过求导推导可得：

    

从（式1）中能够看出。须要对矩阵求逆，因此仅仅适用于逆矩阵存在的时候。

这就是普通最小二乘法。

 

2、局部加权线性回归（LocallyWeighted Linear Regression，LWLR）

   普通最小二乘法的线性回归有可能出现欠拟合的现象，由于它求的是具有最小均值方差的无偏预计。因此我们能够选择局部加权线性回归算法。

在这个算法里，我们给待预測点附近的每个点赋予一定的权重，然后在这个子集上基于最小均值方差来进行普通的回归。与待预測点越近。权值越重。即使用核对附近的点赋予更高的权重。最经常使用的就是高斯核。高斯核相应的权重例如以下：

  

在（式2）中，我们唯一须要确定的就是。它是用户指定的參数，决定了对附近的点赋予多大的权重。

因此如（式3）所看到的。局部加权线性回归是一个无參算法。