zoukankan      html  css  js  c++  java
  • 神经网络的 Delta 学习规则(learning rule)

    1. δ 学习规则

    1986 年,由认知心理学家 McClelland 和 Rumellhart 在神经网络训练中引入了 Δ 学习规则,该规则亦可称为连续感知器学习规则(与离散感知器学习规则相并行)。Δ 规则的学习信号规定为:

    r=(djf(wTjx))f(wTjx)=(djoj))f(netj)

    j 表示不同的迭代过程。上式定义的学习信号称为 δ。显然 δ 规则要求转移函数可导。

    2. 由 δ 规则到最小平方误差

    定义神经元输出与期望输出之间的平方误差为:

    E=12(djoj)2=12(djf(wTjx))2

    欲使误差 E 最小,梯度的变化方向应是负梯度方向:

    Δwj=ηE

    其中:

    E=(djf(wTjx))f(wTjx)x

    因此:

    Δwj=η(djf(wTjx))f(wTjx)x=η(djf(wTjx))f(netj)x

  • 相关阅读:
    OSX中zsh新增环境变量
    新的开始 春光明媚
    tmux
    继承
    6
    Object类
    网页收藏
    画王八
    ES6 语法之import export
    ES6 语法 之 destructuring
  • 原文地址:https://www.cnblogs.com/mtcnn/p/9422125.html
Copyright © 2011-2022 走看看