zoukankan      html  css  js  c++  java
  • 《梯度下降法的步长到底怎么确定?》

    一张图搞定人生系列:

     

     

    1, 看趋势(图2)

    loss往上走甚至产生小山包(黄线) or 下降的特别急(绿线), 后几个epoch没变化, lr过高, 调低。

     

    绿线还可以考虑lr decay

     

    loss趋近于线性(蓝线), lr过低, 调高。

     

    2, 看震荡(图1)

    loss波动的很厉害, 略微略微(强调!!!)调低lr.

     

    3, 以图二为主。

  • 相关阅读:
    4.2.1 B
    4.1.1 A
    C
    A
    排序(sort qsort)
    晕,
    clipssubviews = clipstobounds
    scrollview once more,滑出来的 刚好等于 上下偏移的,
    关于 层的显示,
    水倒过来,倒过去,穷折腾啊,
  • 原文地址:https://www.cnblogs.com/cx2016/p/13328493.html
Copyright © 2011-2022 走看看