1.调试
1.1 超参数调试重要性顺序:
1. $alpha$
2.$eta$, hidden units, mini-batch size
3.layers, learning rate decay
其他:若采用adam,则直接设定$eta_{1}=0.9, eta_{2}=0.999, epsilon=10^{-8}$
1.2 为超参数选择合适范围
当超参数变化范围是[1,4]时,很显然可以采用在区间内取均值的方法。
但是,考虑学习率的变化范围,例如[0.0001, 1],此时如果在区间内随机均匀取值显然是不合理的。解决方法是我们可以在$[log_{10}^{0.0001},log_{10}^{1}]$内,即[-4, 0]内随机均匀取值。
类似的,当考虑$eta$的区间为[0.9, 0.999]时,我们可以将$1-eta$在[0.1, 0.001]内随机均匀取值。
1.3 两种超参数训练方法:pandas,caviar
panda:耐心在训练过程中一天天观察效果并调试参数
caviar:一次训练多个具有不同超参数的模型
2. batch归一化
batch norm会有一点正则化的效果,mini-batch size越大,正则化效果越小