先从以下几方面入手：
◆从简单并且得到广泛应用的网络开始，如VGG，如果可以的话使用标准的损失函数。
◆暂时去掉所有的trick，如数据增强(Data Augmentation)和正则化(regularization)。
◆如果是微调(finetuning)模型，再次检查数据的预处理，保证其和原始网络训练时一致。
◆检查输入数据是正确的。
◆从很少量的数据开始(2-20样本)，使其过拟合，然后逐渐增加样本。
◆逐渐增加trick，数据增强，正则化，新的损失函数，更复杂的网络等等。
参考：
https://www.cnblogs.com/cvtoEyes/p/8603490.html
https://mp.weixin.qq.com/s?__biz=MzA5MDU0MTYxNw==&mid=2650781095&idx=1&sn=a76d8e8db3aa627b2f0b4c84b7c26c5b&chksm=88010ef9bf7687ef65e2409516cfa65108883101a32006abee33062810e518f8d21716852c1e&scene=0&pass_ticket=kuHoFRE7STqAgJ6RC%2FoJySEVevW3huKyhwEaGn0WpSourPUpnRTl94onodtN%2FjNH#rd
https://blog.csdn.net/timeflyhigh/article/details/52015175
http://lamda.nju.edu.cn/weixs/project/CNNTricks/CNNTricks.html