zoukankan      html  css  js  c++  java
  • 优化算法

    动量梯度下降

    主要是选用指数加权平均的思想,给梯度下降增加一个动量,使这个梯度下降可以在纵向摆动更小,横向摆动更大(每一次都是往最优的方向前进),从而加快了收敛速度。

    超参数:学习率α、β默认值是0.9

    RMSProp

    也是利用指数加权平均的思想,只不过在动量梯度下降基础上加上了平方根的思想,这样使得横轴和纵轴方面表现的更容易收敛,加快了速度,比动量梯度下降速度更快,表现的良好

    超参数:学习率α、β默认值0.90.999)、为了保证稳定性在分母上加了个很小的值ε默认值10^-8

     

    Adam

    该算法是融合了动量梯度下降和RMSPROP两者的思想,在使用微分平方的指数加权平均的思想的同时,给梯度下降增加一个动量,所以我们在保证了模型稳定性的同时也可以让模型保持了相对较快的速度达到收敛。让两者的优势都能够更好的作用于模型之上,从而更好的优化模型。

    超参数:学习率α,β1默认值0.9、β2默认值0.99、为了保证稳定性,在分母上加了个很小的值ε默认值10^-8

  • 相关阅读:
    对于delphi 三层的理解
    XE6调用android标准功能
    修复 XE7 Frame 内 PopupMenu 快捷键失效问题 by 龟山阿卍
    最大熵模型 二
    最大熵模型
    算法复习-平面内极大值点
    算法复习-生成全排列
    算法复习-归并排序
    算法复习-快速排序
    连续特征的离散化
  • 原文地址:https://www.cnblogs.com/liang1013/p/14759676.html
Copyright © 2011-2022 走看看