zoukankan      html  css  js  c++  java
  • 梯度下降算法对比(批量下降/随机下降/mini-batch)

    大规模机器学习:

     

    线性回归的梯度下降算法:Batch gradient descent(每次更新使用全部的训练样本)

    批量梯度下降算法(Batch gradient descent):

    每计算一次梯度会遍历全部的训练样本,如果训练样本的比较多时,内存消耗过大。

    随机梯度下降算法:

    1、 首先将随机打乱的训练样本数据

    2、 外循环:(一般2—10次即可,若内循环中次数100000以上,则一次即可)

    内循环:遍历所有的训练样本,每次梯度下降时使用一个样本计算梯度。

    与批量梯度像算法相比,其下降曲线不停,图中右侧红色表示批量梯度下降算法,洋红表示随机梯度下降算法。

    Mini-Batch梯度下降算法

    1、 设置每次遍历的样本数b

    2、 外循环:

    内循环:遍历所有的样本,每b个样本更新一次梯度

     

    对比:

    批量下降:每次梯度更新使用全部的样本

    随机下将:每次梯度更新使用1个样本

    Mini-batch:每次梯度更新使用b个样本,b>1,小于全部的样本数。

    随机梯度下降算法的收敛:

    1、 在更新梯度前计算损失函数:

    2、 比如:绘制损失函数的曲线每1000个样本

     

     

     

  • 相关阅读:
    委托的例子,from C# advanced program
    C#线程通信与异步委托
    进程间通信
    线程间通信
    投影转换(AE)
    FTP多任务下载实现类
    堆内存和栈内存详解(转)
    How threads differ from processes
    实现远程FTP特定时间轨道号MODIS数据的搜索
    委托的例子
  • 原文地址:https://www.cnblogs.com/abella/p/10348332.html
Copyright © 2011-2022 走看看