1.高方差和高偏差
偏差： 描述的是预测值（估计值）的期望与真实值之间的差距。偏差越大，越偏离真实数据集。
方差： 描述的是预测值的变化范围，离散程度，也就是离其期望值的距离。方差越大，预测结果数据的分布越散。
理解偏差和方差（bias/variance）的两个关键数据是训练集误差（train set error）和验证集误差（dev set error）
通过查看训练集误差和验证集误差，我们便可以诊断算法是否具有高方差
如果训练集设置非常好，而验证集设置相对较差，我们可能过度拟合了训练集，某种程度上，验证集并没有充分利用交叉验证集的作用。这种情况就是高方差（high variance）
算法并没有在训练集中得到很好的训练，如果训练数据的拟合度不高，就是欠拟合，可以说这种算法偏差比较高（high bias）
2.解决高方差和高偏差的办法
（1）解决高方差
- 准备更多的数据
- 正则化（regularization）
- 寻找合适的网络结构
利用正则化来解决high variance的问题，正则化是在cost function中加入一项正则化项，惩罚模型的复杂度
人们在训练网络时，越来越倾向使用L2正则化
3.为什么加入正则化会减小过拟合即为什么减小方差？
参考：