多元线性回归中使用梯度下降
在多元线性回归中，我们的目标是找到一组( heta=( heta_0, heta_1, heta_2, heta _0,..., heta _n)) 使得损失函数：
[J = sum_{i=1}^{m}(y^{(i)} - hat{y}^{(i)})^2
]
尽可能小。其中 $$hat y^{(i)} = heta _0x^{(i)}_0 + heta _1x^{(i)}_1+ heta _2x^{(i)}_2+...+ heta _{n}x{(i)}_n,x{(i)}_0equiv 1 $$
多元线性回归的导数$$Lambda J = (frac{partial J}{partial heta _0},frac{partial J}{partial heta _1},frac{partial J}{partial heta _2},...,frac{partial J}{partial heta _n})$$
对各个( heta_i)求偏导数：
求出的梯度的值应该和样本m无关，所以给整个式子除于m:
[Lambda J = egin{bmatrix}
frac{partial J}{partial heta _0} \
frac{partial J}{partial heta _1} \
frac{partial J}{partial heta _2} \
... \
frac{partial J}{partial heta _n}
end{bmatrix} = frac{2}{m}egin{bmatrix}
sum(X^{(i)}_b heta - y^{(i)}) \
sum(X^{(i)}_b heta - y^{(i)}) cdot X_1^{(i)}\
sum(X^{(i)}_b heta - y^{(i)}) cdot X_2^{(i)}\
...\
sum(X^{(i)}_b heta - y^{(i)}) cdot X_n^{(i)}
end{bmatrix}]
所以相应的目标函数应该为：
[J = frac{1}{m}sum_{i=1}^{m}(y^{(i)} - hat{y}^{(i)})^2 = frac{1}{m}sum_{i=1}^{m}(y^{(i)} - X_bcdot heta)^2
]
此式子也是真实值和预测值之间的均方误差 $MSE(y,hat y) $