最近训练一个12层的cnn网络
参考了vgg和googlenets的思想，自己做了些微调
在有噪声的手写体识别上达到了98.59%的准确率
在训练时，前1000次，loss和acc就好像没有收敛一样
因为，神经网络太深，参数太多
我们要用更多时间去使网络提取到对应的参数
所以，一次训练到3k次以上之后再看效果
在训练的后期
train_acc = 0.997
varify_acc = 0.975的时候
我以为验证集准确率不会要有多大提升了
但是，再又训练了2k次之后
准确率提升了1%
超参数的选择：
前期训练是keep_prob=0.9, L2参数为0.01
为的是能让网络尽快收敛
后期的keep_prob 和L2参数自己根据网络过拟合情况自己调整