zoukankan      html  css  js  c++  java
  • Tensorflow踩坑系列---池化层的padding="SAME"问题

    之前深度学习中一般只在卷积中涉及到padding:

    tf.nn.conv2d(x,W,strides=[1,1,1,1],padding="SAME")

    现在在Tensorflow学习过程中,发现在池化过程中,大量应用到SAME填充:

    tf.nn.max_pool(x,[1,2,2,1],strides=[1,2,2,1],padding="SAME")

    现在我们来看看池化过程中padding到底是如何工作的?

    卷积填充了解:http://www.ai-start.com/dl2017/html/lesson4-week1.html

    参考:https://blog.csdn.net/sky_asher/article/details/79704262

    一:池化层SAME Padding

    (一)案例一:可被池化层filter整除

    a = tf.get_variable('w',  shape=(1,4,4,1), initializer=tf.truncated_normal_initializer(seed=1))
    b = tf.nn.max_pool(a,  ksize=[1,2,2,1], strides=[1,2,2,1], padding='VALID')
    c = tf.nn.max_pool(a,  ksize=[1,2,2,1], strides=[1,2,2,1], padding='SAME')
    with tf.Session() as sess:
        sess.run(tf.global_variables_initializer())
        out_b = sess.run(b)
        out_c = sess.run(c)
        print(out_b.shape, out_c.shape)

    在这里刚好是4 % 2 = 0,也就是池化的模板的长度能够待处理的数据长度整除,所以两者的结果是相同的。

    (二)案例二:不可被池化层filter整除

    a = tf.get_variable('w',  shape=(1,3,3,1), initializer=tf.truncated_normal_initializer(seed=1))
    b = tf.nn.max_pool(a,  ksize=[1,2,2,1], strides=[1,2,2,1], padding='VALID')
    c = tf.nn.max_pool(a,  ksize=[1,2,2,1], strides=[1,2,2,1], padding='SAME')
    with tf.Session() as sess:
        sess.run(tf.global_variables_initializer())
        out_b = sess.run(b)
        out_c = sess.run(c)
        print(out_b.shape, out_c.shape)

    这里就不一样了,因为模板在滑动时,可能存在覆盖不完全的地方,就比如用2*2的模板,对于VALID模式和SAME模式就不一样,SAME模式会补全橙色部分,而VALID模式就不会补全了

    VALID不进行填充:会有数据无法遍历

    SAME会向左和下填充0(这里不同与卷积的处理):但是都会使得原矩阵中的数据被遍历到

    二:实例说明

    same会根据具体的步长和核大小去尽量遍历特征图,因为可以填充这个周边的范围。

    (一)代码演示

    x = tf.constant([[1., 2., 3., 5.],
                 [4., 5., 6., 6.],
                 [1 , 2 , 3 , 4 ],
                 [6 , 5 , 8 , 9 ]])
    x = tf.reshape(x, [1, 4, 4, 1])
    
    valid_pad = tf.nn.max_pool(x, [1, 3, 3, 1], [1, 2, 2, 1], padding='VALID')
    same_pad = tf.nn.max_pool(x, [1, 3, 3, 1], [1, 2, 2, 1], padding='SAME')
    with tf.Session() as sess:
        print(sess.run(valid_pad))
        print("----------")
        print(sess.run(same_pad))

    (二)Valid填充

    (三)Same填充

    补充:argmax中axis问题

    https://blog.csdn.net/qq575379110/article/details/70538051/

  • 相关阅读:
    vuejs计算属性和侦听器
    vuejs属性绑定和双向绑定
    vuejs数据和事件
    vuejs挂载点,模板与实例的关系
    vuejs组件的重要选项
    vue开发环境搭建
    vuejs课程简介及框架简介
    SubString
    线性筛约数和函数
    [国家集训队]Tree II
  • 原文地址:https://www.cnblogs.com/ssyfj/p/13964588.html
Copyright © 2011-2022 走看看