BP神经网络

BP神经网络是一种按误差反向传播的多层前馈神经网络，含有一个或多个隐含层，其拓扑结构与一般神经网络相似，BP神经网络的隐含层激活函数一般是sigmoid函数，输出层如果是函数逼近，其激活函数一般是线性函数，分类问题其激活函数一般是sigmoid函数

BP神经网络的学习一般分为两部分：

一：正向计算各个神经元的输出

二：误差反向传播修正权值和阈值

下面开始BP神经网络的学习算法

以有两个隐含层的BP神经网络为例，下面是其拓扑结构：

规定一些符号：

输入层神经元的个数是M,隐含层1是I，隐含层2是J,输出层是K

输入层的第m个神经元用m表示，同理隐含层1是i，隐含层2是j,输出层是k

输入层到隐含层1的权值连接用W_mi表示，隐含层1到隐含层2用W_ij表示，隐含层2到输出层用W_jk表示

(u,v)分别表示各层的输入和输出

用Ml,Il,Jl,Kl分别标识输入层，隐含层1，隐含层2，输出层

隐含层1第i个神经元的输入：

uⁱ(Il)=∑_{m=1 to M}W_miv^m(ML)

隐含层1第i个神经元的输出：

Vⁱ(Il)=f(uⁱ(Il))

隐含层2第j个神经元的输入：

u^j(Jl)=∑_{i=1 to I}W_ijvⁱ(Il)

隐含层2第j个神经元的输出：

v^j(Jl)=g(u^j(Jl))

输出层的第k个神经元的输入是：

u^k(Kl)=∑_{j=1 to J}W_jkv^j(Jl)

输出层的第k个神经元的输出是：

v^k(Kl)=h(u^k(Kl))

第k个神经元的输出误差是：

e_k=d_k-v^k(Kl)

网络的总误差是：

E=1/2∑_{k=1 to K}(e_k)²

BP学习算法和W-H算法一样是基于梯度下降的学习算法，所以

W(n+1)=W(n)-η∂E/∂W

下面开始求误差反向传播的权值更新：

由链式求导得到：

              ∂E/∂W_jk=(∂E/∂e_k)(∂e_k/∂v^k(Kl))(∂v^k(Kl)/∂u^k(Kl))(∂u^k(Kl)/∂W_jk)

                          =-e_kd(h)v^j(Jl) 其中d(h)表示对h函数求导

故∂E/∂W_jk=-e_kd(h)v^j(Jl)

现在定义局部梯度：

Ψ^k(Kl)=∂E/∂u^k(Kl)

         =(∂E/∂e_k)(∂e_k/∂v^k(Kl))(∂v^k(Kl)/∂u^k(Kl))

         =-e_kd(h)

故∂E/∂W_jk=Ψ^k(Kl)v^j(Jl)

同理得到∂E/∂W_ij=Ψ^j(Jl)vⁱ(Il)

Ψ^j(Jl)=∑_{k=1 to K}W_jkΨ^k(Kl)d(h)d(g)vⁱ(Il)

同理得∂E/W_mi=Ψⁱ(Il)v^m(Ml)

Ψⁱ(Il)=∑_{j=1 to J}W_ijΨ^j(Jl)d(f)v^m(Ml)

由上面叙述，进行权值更新：

w_mi(n+1)=W_mi(n)+η∑_{j=1 to J}W_ijΨ^j(Jl)d(f)v^m(Ml)

W_ij(n+1)=W_ij(n)+η∑_{k=1 to K}W_jkΨ^k(Kl)d(h)d(g)vⁱ(Il)

W_jk(n+1)=W_jk(n)+ηe_kd(h)v^j(Jl)