2.3 超参数调试，batch正则化和程序框架

1.调试

　　1.1 超参数调试重要性顺序：

　　　　　　　　　　　　　　1. $alpha$

　　　　　　　　　　　　　　2.$eta$,　　hidden units,　　mini-batch size

　　　　　　　　　　　　　　3.layers,　　learning rate decay

　　　　　　　　　　　　其他：若采用adam，则直接设定$eta_{1}=0.9, eta_{2}=0.999, epsilon=10^{-8}$

　　1.2 为超参数选择合适范围

　　当超参数变化范围是[1,4]时，很显然可以采用在区间内取均值的方法。

　　但是，考虑学习率的变化范围，例如[0.0001, 1],此时如果在区间内随机均匀取值显然是不合理的。解决方法是我们可以在$[log_{10}^{0.0001},log_{10}^{1}]$内，即[-4, 0]内随机均匀取值。

　　类似的，当考虑$eta$的区间为[0.9, 0.999]时，我们可以将$1-eta$在[0.1, 0.001]内随机均匀取值。

　　1.3 两种超参数训练方法：pandas，caviar

　　panda：耐心在训练过程中一天天观察效果并调试参数

　　caviar：一次训练多个具有不同超参数的模型

2. batch归一化

　　batch norm会有一点正则化的效果，mini-batch size越大，正则化效果越小