BN或Dropout单独使用能加速训练速度并且避免过拟合
但是倘若一起使用,会产生负面效果。
BN在某些情况下会削弱Dropout的效果
对此,BN与Dropout最好不要一起用,若一定要一起用,有2中方法:
1 在所有BN层后使用Dropout
2 修改Dropout公式(如使用高斯Dropout)使得它对方差不是那么敏感
总体思路是降低方差偏移
reference
https://zhuanlan.zhihu.com/p/33101420