http://bilibili.com/video/BV184411Q7Ng?p=36
图1(欠拟合，习得的特征太少了)
图2(过拟合，习得的特征太多了)
注解：
- 欠拟合的特点是训练和测试误差都大。
- 过拟合的特点是训练误差小，测试误差大。
注解：
- 2.0和10.0代表的是均方误差，即过拟合的特点是训练集正确率很高，测试集正确率不高。
- 交叉验证不能解决过拟合，只能检测过拟合。
交叉验证的解释：
http://jianshu.com/p/a2f26022a21d
在随机梯度下降的过程中，更新导致曲线波动大的高次幂前面的权重，让其趋近于0，这就是正则化，这就是使用正则化的方法解决函数过拟合。
注解：
- 可以看到正则化力度大的时候，权重明显是变小了。
- L2正则化使得高次幂项的权重不断趋近于，但是不会等于0.