zoukankan      html  css  js  c++  java
  • 梯度下降更新算法

     梯度更新是要同时更新,如下图所示:θ0和θ1同时更新,而不是更新完一个后再更新另一个。

    学习率α过小,梯度下降较慢,训练时间增长。若学习率α过大,梯度下降会越过最低点,难以得到最优的结果,导致难以收敛或发散。

    如果参数值已是局部最优,进行梯度下降计算时导数是0,梯度下降不会作任何操作,参数不改变

    在梯度下过程中无需修改学习率,因为在接近局部最有点时导数项会变小,梯度下降的步幅也会随之比变小。

    梯度下降中batch:指计算一次梯度下降就使用全部的训练集数据

    mini batch :指计算一次梯度下降时使用了一小部分训练集数据

    多元特征的梯度下降时,进行特征缩放,可将梯度下降的速度提高,通常将特征的取值缩放至大约-1到1之间

     使用小的学习率,一般0.001,0.003,0.01,0.03,0.1,0.3,1等

  • 相关阅读:
    awk
    django教材
    saltstack的安装过程
    OPENSTACK学习笔记(1)
    5G核心网架构
    内存采集
    分析CPU文件
    环境管理系统
    属性的两种定义方式
    Python 面向对象(初级篇)
  • 原文地址:https://www.cnblogs.com/abella/p/10320687.html
Copyright © 2011-2022 走看看