代价函数为什么要非负？
其实并不一定，只要满足单调有下界即可，而非负主要是直观，我们可以以0为参考。
偏差与误差
偏差度量了学习算法的期望预测与真实结果的偏离程序, 即 刻画了学习算法本身的拟合能力 .
方差度量了同样大小的训练集的变动所导致的学习性能的变化, 即 刻画了数据扰动所造成的影响 .
简单理解：
偏差是算法自身导致的，数据再加多少，多和现实世界同步，网络结构就三层，总存在很大的误差。
方差是数据误差的波动，所以跟数据有很大关系，训练集的数据分布越和现实世界接近，方差越小。
https://blog.csdn.net/simple_the_best/article/details/71167786
范数
0范数，向量非零元素的个数。
1范数，为绝对值之和。
2范数，就是通常意义上的模。
无穷范数，就是取向量的最大值。
权重衰减（weight decay）
让权重衰减到更小的值，在一定程度上减少模型过拟合的问题，所以权重衰减也叫L2正则化。
原理：（1）从模型的复杂度上解释：更小的权值w，从某种意义上说，表示网络的复杂度更低，对数据的拟合更好（这个法则也叫做奥卡姆剃刀），而在实际应用中，也验证了这一点，L2正则化的效果往往好于未经正则化的效果。（2）从数学方面的解释：过拟合的时候，拟合函数的系数往往非常大，为什么？过拟合，就是拟合函数需要顾忌每一个点，最终形成的拟合函数波动很大。在某些很小的区间里，函数值的变化很剧烈。这就意味着函数在某些小区间里的导数值（绝对值）非常大，由于自变量值可大可小，所以只有系数足够大，才能保证导数值很大。而正则化是通过约束参数的范数使其不要太大，所以可以在一定程度上减少过拟合情况。
https://blog.csdn.net/program_developer/article/details/80867468