组队比赛两个人都以为对方不行,所以都很努力的做任务。快交稿时,交流进展,就变成强强联手啦~~
methods:When training,以概率p 暂时 丢弃,
∴每次训练不同的网络(防止过拟合)
∵有些样本不好呀
在训练时,随机失活随机选择一部分神经元,使其置零,不参与本次优化迭代。
随机失活减少了每次参与优化迭代的神经元数目,使网络的有效大小变小。
随机失活的作用有两点。
1. 降低神经元之间耦合。因为神经元会被随机置零,所以每个神经元不能依赖于其他神经元,这会迫使每个神经元自身要能提取到合适的特征。
2. 网络集成。随机失活可以看作在训练时每次迭代定义出一个新的网络,这些网络共享权值。在测试时的网络是这些网络的集成。