1.如何降低过拟合
答:过拟合是参数过多造成训练集准确率较高,但验证集或测试集准确率较低的情况,即过度拟合训练集数据。增加网络的深度和宽度都会增加参数量,像vgg那样3层3x3网络替代一个7层,既增加网络的深度 又减少参数量的方式是一种很好的方式。同一个网络增加训练数据量,即data augmentation。
一般方法:dropout,batch normalization,L1、L2 regularization(L1、L2正则化),early stopping(http://blog.csdn.net/heyongluoyao8/article/details/49429629),weight decay(权值衰减),cross validation(交叉验证),增加噪声