上溢和下溢
下溢:指当一个接近于0的数字被四舍五入为0,这在某些方程中是非常致命的。比如除数下溢,导致程序异常。
上溢:当大数量级的数被近似为正负(infty)时,之后的运算都可能返回非数字。比如指数运算。
对于这两种情况,我们需要进行数值稳定。
对Softmax进行数值稳定
softmax函数的定义如下
[softmax(mathbb x)_i=frac{e^{x_i}}{sum_{j=1}^n e^{x_j}}
]
异常
如果输入向量(x)中的所有值都非常小,这可能会导致分母的(e^x)也非常小,最终分母被四舍五入为0,导致程序异常。
向量(x)的所有值很大,分子分母都会上溢,最终也无法得到函数的正确结果。
数值稳定
为了解决这个问题,我们可以将输入改为(z),(z)是(**x)和向量中最大值的差**。
这样处理后,我们的最大输入就是0(最大值-最大值),避免了上溢的可能。并且保证了分母至少有一个1((e^{最大值-最大值=0})),也避免了分母为下溢为0的可能。
[z=x_i-max(x)
]