《梯度下降法的步长到底怎么确定？》

Nick-Atom

AI炼金术士一枚， 主攻推荐/广告/NLP

 

一张图搞定人生系列：

 

 

1, 看趋势（图2）

loss往上走甚至产生小山包（黄线） or 下降的特别急（绿线）， 后几个epoch没变化， lr过高， 调低。

 

绿线还可以考虑lr decay

 

loss趋近于线性(蓝线)， lr过低， 调高。

 

2， 看震荡（图1）

loss波动的很厉害， 略微略微（强调！！！）调低lr.

 

3， 以图二为主。

编辑于 2018-10-29