模型介绍
多变量线性回归类似于单变量线性回归，只是需要考虑的影响特征数目变多，通过对多个变量xi进行分析，进而预测结果y。类似于单变量线性回归的假设函数，给出多变量线性回归的假设函数：
[h_θ(x)=θ_0+θ_1x_1+θ_2x_2+…+θ_nx_n
]
利用线性代数的知识，可以将系数θ定义为一个向量：
[θ=left[
egin{matrix}
θ_0 \
θ_1 \
θ_2 \
vdots \
θ_n
end{matrix}
ight]
]
变量x定义为：
[x=left[
egin{matrix}
x_0 \
x_1 \
x_2 \
vdots \
x_n
end{matrix}
ight]
]
则假设函数可以写成：
[h_θ=θ^Tx
]
代价函数
类似于单变量线性回归，我们有n个特征值，我们写出代价函数：
[J(θ)=frac{1}{2m}sum_{i=1}^{m} {(h_θ(x^{(i)})-y^{(i)})^2}
]
梯度下降
[θ_j:=θ_j-αfrac{∂}{∂θ_j}J(θ)
]
[(for (j=0,……n))
]
解开之后的规律为：
[θ_j:=θ_j-αfrac{1}{m}sum_{i=1}^{m} {(h_θ(x^{(i)})-y^{(i)})x_j^{(i)}}
]
当然对于某些情况，例如对于一个多变量的模型，其各个变量的取值范围差异很大，就会导致在执行梯度下降的过程中，速度缓慢且可能产生波动。所以引出一个技巧：
特征缩放
对于上述的情况，希望能将各变量的取值范围保持在(-1leq xleq 1)类似的一个范围里，并且使得各变量的取值范围一致。
利用均值归一化，可以得到一个比较理想的结果：
[x_i=frac{x_i-μ_i}{s_i}
]
其中μ为x训练集的平均数，s为范围的标准差。
学习率α的选择
可以通过描绘以迭代层数为x轴的J(θ)图像来观察梯度下降算法是否合理运行。以此为依据，调整合理的学习率α。
正规方程
梯度下降算法中的偏导数，可能不一定好计算，在之前的单变量线性回归中，分析过当(frac{∂}{∂θ_j}J(θ)=0)时算法到达边界，根据这个条件，给出下列算法：
对于一组训练集：
| x0 | x1 | x2 | x3 | x4 | y |
|---|---|---|---|---|---|
| 1 | 2104 | 5 | 1 | 45 | 460 |
| 1 | 1416 | 3 | 2 | 40 | 232 |
| 1 | 1534 | 3 | 2 | 30 | 315 |
| 1 | 852 | 2 | 1 | 36 | 178 |
可以分别写成矩阵：
[X=left[
egin{matrix}
1 & 2104 & 5 & 1 & 45 \
1 & 1416 & 3 & 2 & 40 \
1 & 1534 & 3 & 2 & 30 \
1 & 852 & 2 & 1 & 36
end{matrix}
ight]
]
和向量：
[y=left[
egin{matrix}
460 \
232 \
315 \
178
end{matrix}
ight]
]
则θ公式为：
[θ=(X^TX)^{-1}X^Ty
]
与梯度下降的选择
- 梯度下降算法需要选择学习率α，正规方程不需要
- 梯度下降算法需要很多次迭代，正规方程不需要
- 梯度下降算法在在特征量很多的时候依然运行良好，而正规方程的时间复杂度为O(n3)，在特征量数量很大的时候，效率会变低。（大约为104这个量级）