zoukankan      html  css  js  c++  java
  • tf.train.AdamOptimizer()函数解析

    tf.train.AdamOptimizer()函数是Adam优化算法:是一个寻找全局最优点的优化算法,引入了二次方梯度校正。

    tf.train.AdamOptimizer.__init__(
    learning_rate=0.001,
    beta1=0.9,
    beta2=0.999,
    epsilon=1e-08,
    use_locking=False,
    name='Adam'
    )

    参数:

    learning_rate:张量或浮点值。学习速率
    beta1:一个浮点值或一个常量浮点张量。一阶矩估计的指数衰减率
    beta2:一个浮点值或一个常量浮点张量。二阶矩估计的指数衰减率
    epsilon:数值稳定性的一个小常数
    use_locking:如果True,要使用lock进行更新操作
    `name``:应用梯度时为了创建操作的可选名称。默认为“Adam”
    本质上是带有动量项的RMSprop,它利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率。

    Adam的优点主要在于经过偏置校正后,每一次迭代学习率都有个确定范围,使得参数比较平稳。

    相比于基础SGD算法,1.不容易陷于局部优点。2.速度更快

  • 相关阅读:
    display:flex 布局之 骰子
    vue 生命周期
    vue webpack 懒加载
    后台管理页面基本布局
    模拟ie9的placeholder
    常用的功能封装 pool.js
    六位数字字母验证码
    CommonJs AMD CMD
    项目封版后的总结
    jq 回到顶部
  • 原文地址:https://www.cnblogs.com/tingtin/p/12558615.html
Copyright © 2011-2022 走看看