预测实数取值的(realvalued)输出:回归入门

1. 简介：

主要是Andrew W.Moore 的课件Predicting real-valued outputs: an introduction to regression学习笔记（逐步完成)。

2. 单一参数线性回归 single parameter linear regression

前面关于PRML第一章学习笔记中已经贴了该部分。注意最后的最优求解很简单，按照偏导数=0。

对应最小值的

然后可以利用这个来预测新值。

3. 多元线性回归

注意前面PRML中曲线拟合的例子，输入可不是多元的，仍然是f(X)->Y,X,Y都是单一变量而不是vector(不过参数W是多元的而已)。当然从basis function的角度来看其实也是一样的可以看做多元回归。

 

为什么取得最大可能对应的 是上面那个样子呢?其实这是一个最小二乘问题，也是线性方程组求解问题。设上图关于R个训练输入数据，每个数据有m个输入维度的矩阵是=如果的解空间包含,那么方程是有解的。这个时候可以说对应的使得对于训练数据的逼近最好，误差为0。那么如果解空间不存在呢,那么我们只能尽可能的调整使得最小。我们求得的是 中最接近的向量。参考<<线性代数及其应用>>p359,应该是向的列空间的投影。

 

正交投影 是唯一的，当的列是线性无关的时候则有唯一的最小二乘解，即上面图中给出的。

4. 线性回归中的常量

考虑一元线性回归，不穿过原点的情况，通常的做法是对数据的输入维度增加一个,其取值固定为1。

5. 异方差性：线性回归with varing noise

假设你知道加在每个数据点上的噪声的方差。如何利用MLE估计w？

6. 非线性回归(Non-linear Regression)

假定你知道y和x的关系是一个有关w的非线性依赖关系。如何通过MLE估计W？

常用的一些方法

7. 多项式回归(Polynomial Regression)

下面第二个图给出了例子，即增加了类似的项，考虑PRML中给出的多项式曲线拟合，那个应该是属于一个1维input的M,order的情况。