3.16 数值稳定性和模型初始化

数值稳定性和模型初始化

目标：深度学习模型的数值稳定性问题以及模型参数的初始化方法。
深度模型有关数值稳定性的典型问题是衰减（vanishing）和爆炸（explosion）。

衰减和爆炸

当神经网络的层数较多时，模型的数值稳定性容易变差。假设一个层数为(L)的多层感知机的第(l)层(oldsymbol{H}^{(l)})的权重参数为(oldsymbol{W}^{(l)})，输出层(oldsymbol{H}^{(L)})的权重参数为(oldsymbol{W}^{(L)})。为了便于讨论，不考虑偏差参数，且设所有隐藏层的激活函数为恒等映射（identity mapping）(phi(x) = x)。给定输入(oldsymbol{X})，多层感知机的第(l)层的输出(oldsymbol{H}^{(l)} = oldsymbol{X} oldsymbol{W}^{(1)} oldsymbol{W}^{(2)} ldots oldsymbol{W}^{(l)})。此时，如果层数(l)较大，(oldsymbol{H}^{(l)})的计算可能会出现衰减或爆炸。

随机初始化模型参数

如果将每个隐藏单元的参数都初始化为相等的值，那么在正向传播时每个隐藏单元将根据相同的输入计算出相同的值，并传递至输出层。在反向传播中，每个隐藏单元的参数梯度值相等。因此，这些参数在使用基于梯度的优化算法迭代后值依然相等。之后的迭代也是如此。在这种情况下，无论隐藏单元有多少，隐藏层本质上只有1个隐藏单元在发挥作用。

MXNet的默认随机初始化

随机初始化模型参数的方法有很多:
使用net.initialize(init.Normal(sigma=0.01))使模型net的权重参数采用正态分布的随机初始化方式。如果不指定初始化方法，如net.initialize()，MXNet将使用默认的随机初始化方法：权重参数每个元素随机采样于-0.07到0.07之间的均匀分布，偏差参数全部清零。

Xavier随机初始化

假设某全连接层的输入个数为(a)，输出个数为(b)，Xavier随机初始化将使该层中权重参数的每个元素都随机采样于均匀分布

[Uleft(-sqrt{frac{6}{a+b}}, sqrt{frac{6}{a+b}} ight). ]

它的设计主要考虑到，模型参数初始化后，每层输出的方差不该受该层输入个数影响，且每层梯度的方差也不该受该层输出个数影响。