为了获得良好的收敛,在进行梯度下降前,我们可以对数据进行预处理。
目标是使得数据大小在同一个数据数量级上,均值为零。
一般将数据放缩到(-1,1)区间,
我们可以对数据进行如下操作:
其中u1是数据的均值,s1为数据绝对值的最大值。
用处理后的数据进行梯度下降可以获得更好效果。