调整神经网络超参的一些技巧

【本文属于借花献佛，内容来自和一位朋友的交谈】

1. 看training loss和test loss之间的关系，如果他们同时下降，说明网络还在学习、泛化能力还在增强；但如果training loss在下降，test loss却不再下降，甚至上升了，那说明网络进入到过拟合的状态了。

2. loss起先降得很快，后来降得很慢，甚至不再明显下降，这个时候，就要降低学习率了。因为loss不再明显下降了，说明函数已经快到谷底，在谷底周围震荡，不能真正达到谷底，降低学习率，可以减缓震荡。（也许这个分析不对？）

3. 如果loss曲线震荡的很厉害，则可以增大batchsize。如果batchsize增大了，最好也增大learning rate，比如batchsize增大了一倍，learning rate最好也增大一倍。