zoukankan      html  css  js  c++  java
  • ①L2正则化/权值衰减(weight decay) ②正则化的目的:

    L2正则化倾向于使网络的权值接近0(L2正则化实质上是对权值做线性衰减)。这会使前一层神经元对后一层神经元的影响降低,使网络变得简单,降低网络的有效大小,降低网络的拟合能力。

    正则化的目的:限制参数过多或者过大,避免模型更加复杂。例如,使用多项式模型,如果使用 10 阶多项式,模型可能过于复杂,容易发生过拟合。所以,为了防止过拟合,我们可以将其高阶部分的权重 w 限制为 0,这样,就相当于从高阶的形式转换为低阶。

  • 相关阅读:
    希尔排序
    Java内存区域与内存溢出异常
    插入排序
    选择排序
    冒泡排序
    专利申请笔记
    Python基础指北
    mini web
    linux i/o multiplexing
    Python decorator module
  • 原文地址:https://www.cnblogs.com/icemiaomiao3/p/15033435.html
Copyright © 2011-2022 走看看