调参技巧
- 层叠LSTM的层时 尽量保持两个隐藏层个数一致 收敛的快的多
- 两层LSTM比一层好很多
- 激活函数很重要 relu通常效果比较好
-
学习率太大(0.02),记得要是0.001数量级的学习率，否则直接不收敛，因此学习率不要太大，越小越好
- 正则化参数
- L1正则化效果很差
- L2正则化 一般是0.01左右
- 这个参数影响不太 而且容易拖累模型训练速度
-
Dropout
- 用了和正则一样会严重拉低训练速度和准确率
- 有一定的防止过拟合的作用 可以保证你训练误差和测试误差不会相差太大
- 加一层比较好 参数在0.3到0.5之间
- 不加容易过拟合
- EPOCHS
- 往往刚开始表现好的最终表现也很好
- 轮数在15-20基本接近最好结果的99%
优化器
from tensorflow.keras import optimizers
常用optimizers.Adam ,Nadam 学习率的设置在0.001数量级