1. Andrew Ng 的个人经验和偏好是：
第一梯队： learning rate α
第二梯队： hidden units
mini-batch size
momentum β
第三梯队： number of layers
learning rate decay
other optimizer hyperparameters
2. 手动优化RNN超参数时需要注意的一些事：
- 小心出现过拟合，这通常是因为神经网络在“死记”定型数据。过拟合意味着定型数据的表现会很好，但网络的模型对于样例以外的预测则完全无用。
- 正则化有好处：正则化的方法包括l1、l2和丢弃法等。
- 保留一个神经网络不作定型的单独测试集。
- 网络越大，功能越强，但也更容易过拟合。不要尝试用10,000个样例来学习一百万个参数 参数 > 样例数 = 问题。
- 数据基本上总是越多越好，因为有助于防止过拟合。
- 定型应当包括多个epoch（使用整个数据集定型一次）。
- 每个epoch之后，评估测试集表现，判断何时停止（提前停止）。
- 学习速率是最为重要的超参数。
- 总体而言，堆叠层是有好处的。
- 对于LSTM，可使用softsign（而非softmax）激活函数替代tanh（更快且更不容易出现饱和（约0梯度））。
- 更新器：RMSProp、AdaGrad或momentum（Nesterovs）通常都是较好的选择。AdaGrad还能衰减学习速率，有时会有帮助。
- 最后，记住数据标准化、MSE损失函数 + 恒等激活函数用于回归、Xavier权重初始化
参考文献: