专门看一下代价函数的求解
参数求解：
上式这个更新公式就叫做LMS(least mean square)更新规则，也叫Widrow-Hoff学习规则。
这是一维的情况，我们可以拓展到多维的情况，由此得到两种不同的学习（迭代方法），即批处理梯度下降法和随机梯度下降法。
1.批处理梯度下降法（每次迭代都遍历所有样本,所欲样本遍历一遍再走第一步）
2.随机梯度下降法（走一步再走一步）
除了这种迭代法求解代价函数的最小值，还有一种normal equation的方法，现在来看一下数学推导：
但是为什么对于线性回归模型，最小平方代价函数是合理的呢？这是因为可以从概率的角度上解释（涉及到最大似然估计）
首先引入两个假设
1.目标值和输入值满足如下关系（线性关系），
可以理解为误差项或者噪声，也就是我们建模时没有考虑到的变量
2.是独立同分布，服从高斯分布，也就是说
p的意思是给定x和theta，我们可以知道y的分布，其中theta是参数，x,y都是随机变量。
那么这个条件概率是怎么和代价函数搭上关系的呢？
由独立同分布的假设，我们引入似然函数：
我们可以理解为给定多组x,y，我们得到其分布函数，这个分布函数与theta的值有关。那么怎么样theta最合理呢呢？答案theta使得概率最大最合理。所以问题就等价于求似然函数的最大值.
等价于求以下函数的最小值：
参考资料：http://cs229.stanford.edu/notes/cs229-notes1.pdf
版权声明：本文为博主原创文章，未经博主允许不得转载。