PaddlePaddle训练营——公开课——AI核心技术掌握——第1章迈入现代人工智能的大门——深度学习的基础算法——反向传播算法简介

反向传播算法 Back Propagation Algorithms

在一个链接上的权重的变化会使得下一个神经元获得的值就有相应的变化，这个变化量会随着网络的前向传播影响到下一层的每一个神经元，以此类推，会传递到输出层比对的代价上，使得代价产生一定的变化量。

有了变化量之后，就可以对每一个权重，计算代价关于它的偏导数，这个导数相当于它对于代价变化的影响量，以此类推，每一条边上都会存在这样一个导数，有了这些导数之后就确定了每一条边我们需要去调整的量，这就是反向传播的精髓。

所谓的学习就是通过C的变化来确定所有的边上的权重，通过这种方式，就可以对这个网络所有的链接的权重做一个调整，之后就使得最终的行为发生变化，由大量微小的变化构成最后结果的大幅度差异。