一、符号定义:
al: 第l层的输出值(经过了激活函数)。在DNN中是向量,在CNN中是张量。
σ:激活函数的表达形式。
zl: 第l层的输出值(未经过激活函数)。在DNN中是向量,在CNN中是张量。
wl: 第l层的权重。
y: gt。
:点积扩展,表示用后者构造一个与前者大小相同的矩阵,再进行点乘,即复制扩展了后者。
δl:总代价函数对第l层的z的导数。 δδ
二、DNN-BP
1.总结:
δδ
2.推导:
3.流程
4.参考:
http://www.cnblogs.com/pinard/p/6422831.html
三、CNN-BP
1.总结:
2.推导:
类似DNN
3.流程:
4.参考:
https://www.cnblogs.com/pinard/p/6494810.html