深度残差网络

• 神经网络的层数决定了模型的容量
• 网络层数加深，容易陷入局部最优解，梯度消失问题严重

ResNet

• 解决或缓解深层的神经网络训练中的梯度消失问题
• 层数更深的网络反而具有更大的训练误差，很大程度归结于梯度消失问题
• 误差传播涉及非常多的参数和导数的连乘，很容易导致梯度消失或者膨胀
• ResNet
  • 既然离输入近的神经网络层较难训练，那么可以将它短接到更靠近输出的层
  • (x)经过两层的变换得到(F(x))
  • 短接后，两层的网络模块输出(H(x)=F(x)+x)
  • (F(x))被设计为只需要拟合(x)与目标输出( ilde{H}(x))的残差( ilde{H}(x))
  • 跳过的两层只需要拟合上层输出和目标之间的残差