https://www.zhihu.com/question/20467170 (参看z.defying,myazi 的回答)
归一化,又称最大最小值归一化,特点为:
①其特征变换后的值严格在范围区间内,如 [0,1];
②不会改变数据分布;
③会使特征量纲相同,不会有大数值特征掩盖小竖直特征的情况,相当于去掉了特征的权重;
优点为:
①当使用sigmoid作为激活函数时,bp时躲开非饱和区,加速模型收敛。
缺点为:
①如果奇异数据比较多,则分母max-min不准确,造成精度影响;
对适用范围的思考:
①对数据范围有严格要求时;
②对于图像,因为像素值介于[0,255],所以经常被使用;
③不想改变特征分布时;
标准化,特点如下:
①特征变换后的值没有严格的范围区间;
②会改变特征分布~N(0,1);
③会使特征量纲大致相同,不会有大数值特征掩盖小竖直特征的情况,相当于去掉了特征的权重;
优点为:
①由于使loss下降由扁圆图变为了类圆图,加速了模型收敛;
缺点为:
①改变了数据分布情况,可能导致模型精度下降;