一 预备知识


二 反向传播

取出来一个神经元

Forward pass


Backward pass

第一项比较简单,通过已知的函数可以直接求出:

第二项就比较复杂,简单的求解过程如下:



前边的论述是假设有两项是已知的情况,如果不知道呢???



总结:

参考:
http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2016/Lecture/BP.pdf
https://blog.csdn.net/soulmeetliang/article/details/72873209