1:减弱过拟合reduce overfitting
(1)regularization
(1.1)Regularization函数
[注]λ为超参数(需要自己设置)迫使参数的一或者二范数逼近于0,。
decay衰减
(1.2)regularization的分类
【注】pytorch中内嵌了L2-regularization的实现。只需要设置参数weight_decay就可将参数的二范数逼近于0。
[注]pytorch中目前没有对L1-regularization的支持,故只能手动实现。
(2)dropout:通过参数p来控制输出-输入断掉的概率
[注]Dropout断掉的是前一层的输出需要断掉多少概率的out来作为下一层的输入。
【注】tensorflow和pytorch的区别是,pytorch中的参数p是断掉的概率,tensorflow中是保持的概率。
【注】在进行val-set数据集的test时,需要把网络切换到eval(),防止输入被drop掉。否则在进行test-set数据集的test时,约定test没有drop,所以会出现效果差的现象。