zoukankan      html  css  js  c++  java
  • 关于梯度下降之前需要进行feature scale的记录

    先上吴恩达老师的课件图

      1.对于梯度下降而言,学习率很大程度上影响了模型收敛的速度.对于不同规模的特征,如果采用相同的学习率,那么如果学习率适应于scale大的数据,scale较小的数据由于学习率过大无法收敛;如果学习率适应于scale较小的数据,那么收敛的速度会变的很慢(对于大scale的数据而言,学习率太小了).

      2.scale值越大的特征,对模型的影响越大。极端情况,损失函数会被某个值特别大的特征主导,这相当于给特征无端的加了一个先验值,这不是我们想要的效果.

  • 相关阅读:
    全民医疗
    SpringMVC
    Mybatis 缓存策略
    不要追涨杀跌
    我只认比特币
    ETH反思
    世界是熵增的
    切片最好还是传引用
    rxgo示例
    11月份的计划
  • 原文地址:https://www.cnblogs.com/z1141000271/p/11230009.html
Copyright © 2011-2022 走看看