2019-10-20 11:45:54
- 数据侧
1、在数据集很大的情况下，不要立马跑全量数据。可以现在小数据集上进行测试，估算一下运行时间。
2、数据shuffle和augmentation，训练之前需要将数据集进行随机化处理；数据增强往往可以增加模型的鲁棒性，可以尝试一下。
3、数据的清洗过滤非常重要。数据的质量直接决定了模型的上限。
- 模型侧
1、不要一上来就手写模型，可以先用开源的模型代码跑跑效果，再做调整。
2、分类问题的dropout基本最后一层使用就可以了，可以降低过拟合，但是对精度提升不大。
3、batch_size一般来说越大越好。
4、随时存档，可以在每轮epoch后进行validation，并将模型的参数保存下来，方便观察结果。
5、lr的调整是很重要的，可以尝试。