Hopfield神经网络

预备知识

先来说说前馈型神经网络与反馈型神经网络的区别：

前馈型神经网络不考虑输入和输出在时间上的滞后性，只考虑输入到输出的映射关系，反馈型神经网络则考虑了输入到输出之间的延迟

再来说说hebb学习规则：

两个神经元同时兴奋或抑制，那么它们的连接权值将增大，如果两神经元不是同时兴奋或抑制，那么它们的连接权值将减小

数学表达式为：

                  W^new=W^old+ηp^Tt

如果初始权值为零矩阵，那么

                 W=ηp^Tt

开始结束hopfield神经网络，主要讲离散hopfield神经网络：

hopfield神经网络系统的稳定性主要通过能量函数进行分析，在满足一定条件下，某个特定的能量函数在网络的运行过程中不断减小，直到达到平衡状态

hopfield神经网络的能量函数定义为：

                      E=-1/2X(t)^TWX(t)+X(t)^TT

下面来证明网络的稳定性：

                    ΔE=E(t+1)-E(t)-------1

                    ΔX=X(t+1)-X(t)-----2

将能量函数和2带入1式得：

                   ΔE=E(t+1)-E(t)

                      =-1/2X(t+1)^TWX(t+1)+X(t+1)^TT+1/2X(t)^TWX(t)-X(t)^TT

                      =-1/2(X(t)+ΔX)^TW(X(t)+ΔX)+(X(t)+ΔX)^TT+1/2X(t)^TWX(t)-X(t)^TT

                      =-ΔX^T(t)[WX(t)-T]-1/2ΔX^T(t)WΔX(t)

hopfield神经网络有两种运行方式，同步运行方式和异步运行方式：

异步运行方式：只有一个神经元的状态改变，其他神经元的状态不变

                   xⁱ(t+1)=sgn(U_j(t)) if i=j

同步运行方式：所有的神经元的状态都改变

                 X(t+1)=sgn(U(t)

下面先讨论异步方式运行：

           ΔX(t)=[0,0,0,0,...,Δxⁱ(t),0,0,0]

所以

           ΔE=-Δxⁱ(t)[∑_{j=1 to n}w_ijx_j-T_i]-1/2Δxⁱ(t)²w_ij

由于w_ij=0

           ΔE=-Δxⁱ(t)[∑_{j=1 to n}w_ijx_j-T_i]

               ==-Δx^j(t) U_j(t)

情况 a x_i(t)=0 x_i(t+1)=1 Δx(t)=1 所以U_j(t)>0  ΔE<0

情况 b x_i(t)=1 x_i(t+1)=0 Δx(t)=-1 所以U_j(t)<0  ΔE<0

情况 c x_i(t)=x_i(t+1) Δx(t)=0 所以U_j(t)=0  ΔE=0

所以 ΔE<=0

在异步运行情况下，网络总能收敛到平衡的状态

同步情况下：

               ΔE=-Δxⁱ(t)[∑_{j=1 to n}w_ijx_j-T_i]-1/2Δxⁱ(t)²w_ij

                  =-∑_{i=1 to n}Δxⁱ(t)U_j(t)-1/2Δxⁱ(t)²w_ij

上式前部分已经证明小于等于0，后部分只要W满足非负定矩阵，也小于等于0

所以在同步情况下，只要矩阵满足是非负定矩阵，网络也能收敛到一个平衡状态

Hopfield是反馈型神经网络，上一时段的输出反馈给下一时段的输入，各个神经元的输出都收其他神经元的影响，下图是它的拓扑结构：

第j个神经元的加权和：

                          U_j(t)=∑_{i=1 to n}W_ijx_i(t)-θ_j

故该神经元下一时刻的输出状态:

                         x_j(t+1)=sgn(U_j(t))

hopfield神经网络的权值学习采用hebb学习规则，下面开始hopfield算法的学习，步骤如下：

1 输入需要记忆的样本P(n维正交向量）将其初始化为网络的初始状态X=P，设置迭代步数，并计算网络的权值W

           W=∑_{i=1 to n}[P^TP-I] 因为w_ij=0 所以减去单位矩阵

2 进行迭代计算

             x_i(t+1)=sign((U_j(t))

3 当达到迭代步数或网络的状态不在改变时，网络运行结束，否则继续迭代