提高训练速度的方法:归一化输入
假设数据集的每一个训练样本只有两个特征x1、x2,那么训练集:
绘制出的图形如图所示,要对其进行标准化分为两步:
1、对训练集进行零均值化处理,顾名思义,也就是处理后的数据集的均值为零。
2、归一化方差。即使方差变为1。
分步讲解:
1、怎样来使均值变为0呢?首先我们需要算出数据集的平均值:
求得的均值是一个向量,这里的x1是所有训练样本x1的均值。x2同理:
然后用数据集的每一项减去这个均值就可以使整个数据集的均值为0了。
所得X如下所示:
2、要使方差为1,方差也就是数据偏离均值的程度,观察图(1)第二张图,这是经过零均值化处理后的数据集,现在x1和x2的均值都为0,我们看x1偏离原点(即均值)的程度是不是要大于x2。我们要对其处理以使x1、x2方差都为1。我们首先算出数据集的方差。然后用数据集除以方差即可。
总结:
对数据集进行标准化处理,就是让数据集的均值为0,方差为1。把数据集映射到(-1,1)之间。
总公式:
2. 为什么标准化可以加快训练
左图是进行归一化之前的J与w、b的图像,可以看出代价函数非常细长狭窄,在一些情况下需要很多次的迭代过程从而使效率底下,而归一化后的就变为了右图,可以看出代价函数非常平均,无论从哪个位置开始迭代,都会很快到达极小值点,从而提高了效率。