深度学习的优化与正则化

神经网络有很强的表达能力，但是当应用神网络模型到机器学习时依然存在一些难点问题：

1. 优化问题：深度神经网络的优化十分困难。首先，神经网络的损失函数是一个非凸函数，找全局最优解比较困难；其次深度网络的参数通常非常多，训练数据也比较大，因此无法使用计算代价很高的二阶优化方法，而一阶优化方法的训练效率通常比较低。此外，深度神经网络存在梯度消失或爆炸问题，导致基于梯度的优化方法经常失败。
2. 泛化问题：由于深度神经网络的复杂度比较高，并且拟合能力很强，很容易在训练集上产生过拟合。因此在训练深度神经网络时，同时也需要通过一定的正则化方法来改进网络的泛化能力。