zoukankan      html  css  js  c++  java
  • 归一化能够加速训练的原因

    这里引用吴恩达教授在课程中的截图。

    一、 w,b分布

    我们首先分析一下为什么非归一化的的cost呈现这种分布。

    对于一个没有归一化的数据,X和Y可能呈现很大的数量级差距,如果X相较于Y非常大的话,改变W对Z的影响将会相对b来说非常大

    举个例子,如果Y在0,1之间,而X在100000以上,在梯度下降的过程中,w将会变化极小,因为稍微变化百分之一,都可能造成cost变化非常大。

    二、 梯度下降

    我们再分析一下,梯度下降的过程会发生什么。对于第一个图,如果我们在图中标识的起始点,我们的梯度并没有指向最优点。所以在梯度下降的过程中,迭代结果可能并不是有效的,甚至变得更加糟糕

    而相反,我们从第二图中可以看出,在圆中的任意一点,我们的梯度下降的方向均是指向最优解,这让我们的迭代变得更加高效

    以上是归一化加速训练的原因。

  • 相关阅读:
    HDU_5057_分块
    HYSBZ_2002_分块
    HDU_1166_树状数组
    HDU_5692_dfs序+线段树
    多重背包
    二进制中一的个数
    康托展开
    vector, map, queue,set常用总结
    错误票据
    高精度计算
  • 原文地址:https://www.cnblogs.com/siyuan-Jin/p/12386644.html
Copyright © 2011-2022 走看看