继续上一篇的问题,我们采用另外一种方法,采用矩阵的方式重新定义了最小二乘法。
在说这个方法之前,先看看这个矩阵怎么个定义法。
我们知道标量y对矩阵X的导数如下:
好,我们就根据课文中,对矩阵A求导。
然后给出了一个例子:
然后根据矩阵迹的概念
对于矩阵的迹有以下性质:
紧接着可以得到下面一些性质,作者给出,没有证明
下面我们重新定义训练数据,定义成矩阵的形式。
每一行为一个训练数据,x为列向量
结果也用向量表示:
这样我们通过这种形式又得到了J,我们的目的也就是使J最小。
好,我们根据上面公式的(2)和(3),我们可以得到
因此,有:
要求最小的J,我们就令上式为0向量。
这边要注意的是求矩阵的逆的比较慢,X可以求逆。
下面一节就说下为什么采用平方和作为错误估计函数。