如有侵权,请留言,会尽快删除。
此文为笔记性质的文章,目的是方便自己以后回顾反向传播的思想和基本原理。
以下内容来自网易云课堂中李飞飞老师的cs231n的视频课程。
图解基本原理
一旦我们能用计算图来表示一个函数,那就能用所谓的反向传播技术递归的调用链式法则,来计算一下计算图中每个变量的梯度。
复杂一些的计算图
在最右侧的计算时,函数对于自身的求导是1这没什么好说的,函数1/x 的倒数是 -1/x^2 ,将其中x的值1.37 带入,在与前一层得出的梯度值 1 进行相乘,得出的结果 -0.53 ,作为前一层梯度计算的输入。
最大门问题
解释:如果你要改变这个节点一点点,当你正通过这个图进行前向传递时,它会在前向传递中影响到所有连接到这个节点的节点,然后当你进行反向传播的时,所有传回的梯度都会影响这个节点,这就是我们如何将这些加起来得到回流到这个节点的总上游梯度。