bp(back propagation)修改每层神经网络向下一层传播的权值,来减少输出层的实际值和理论值的误差
其实就是训练权值嘛
训练方法为梯度下降法
其实就是高等数学中的梯度,将所有的权值看成自变量,误差E作为因变量
即E=f(w1,w2,w3,....,wk)//这些w就是每一层向下一层转移的权值,具体在哪层不要管,只有计算上的差别
现在我们希望最小化E的值,
怎么最小化呢?就通过修改w的值来最小化
首先我们计算E的梯度T
然后沿着梯度下降就行了,就是说,假设原来的向量是X,那么新的向量X' = X - learn_rate * T 就行了
所以问题就在于如何计算E的梯度
求梯度这里就是挨个对这些变量求导,采用链式求导法则
https://blog.csdn.net/fanxin_i/article/details/80212906
具体怎么求这个博客写的贼清楚,很棒棒