大神的论文还是值得认真读，写作思路很好，给出问题&基本解决方案，阐述基本解决方案的痛点，然后根据痛点一一阐述各种Optimizer
https://arxiv.org/pdf/1609.04747.pdf An overview of gradient descent optimization algorithms
然后这篇博文也不错，基本是论文的中文简报，https://www.cnblogs.com/ChrisInsistPy/p/9510650.html