昨天下午在单位从新推导了一遍fp和bp。
在整个网络的训练中，最关键的就是计算残差。
最后一层残差很容易，那么前面每一层的残差怎么计算呢？
总体来说，有多少权重就需要多少残差项来进行权重更新。每个权重系数的残差是和后面一层的残差关联的，怎么关联呢？