zoukankan      html  css  js  c++  java
  • tensorflow中使用Batch Normalization

    在深度学习中为了提高训练速度,经常会使用一些正正则化方法,如L2、dropout,后来Sergey Ioffe 等人提出Batch Normalization方法,可以防止数据分布的变化,影响神经网络需要重新学习分布带来的影响,会降低学习速率,训练时间等问题。提出使用batch normalization方法,使输入数据分布规律保持一致。实验证明可以提升训练速度,提高识别精度。下面讲解一下在Tensorflow中如何使用Batch Normalization

    有关Batch Normalization详细内容请查看论文:

    Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

    关键函数

    tf.layers.batch_normalization、tf.contrib.layers.batch_norm

    这两个函数用法一致,以 tf.layers.batch_normalization 为例进行讲解

    layer1_conv = tf.layers.batch_normalization(layer1_conv,axis=0,training=in_training)

    其中 axis 参数表示沿着哪个轴进行正则化,一般而言Tensor是[batch, width_x, width_y, channel],如果是[width_x, width_y, channel,batch]则axis应该设为3

    1 在训练阶段

    训练的时候需要注意两点,(1)输入参数training=True,(2)计算loss时,要添加以下代码(即添加update_ops到最后的train_op中)。这样才能计算μ和σ的滑动平均(测试时会用到)

     update_op = tf.get_collection(tf.GraphKeys.UPDATE_OPS)
      with tf.control_dependencies(update_op):
        train_op = optimizer.minimize(loss)

    2 在测试阶段

    测试时需要注意一点,输入参数training=False,

  • 相关阅读:
    0827IO作业
    0927集合作业
    初学集合,以及泛型
    异常课——抛出
    Python环境变量配置
    安装Python
    MySQL多表操作
    MySQL增删改查
    Group by分组详解
    MySQL常用函数
  • 原文地址:https://www.cnblogs.com/zhaopengcheng/p/8994375.html
Copyright © 2011-2022 走看看