zoukankan      html  css  js  c++  java
  • 【518】1D CNN原理详细说明

    参考:Convolutional Neural Networks for Text Classification

    参考:【book】- Neural Network Methods for NLP

    参考:自然语言处理中CNN模型几种常见的Max Pooling操作


      原图:

           

       简单说明:

      个人理解:

      关于一维卷积神经网络的具体实现过程全网说的比较隐晦,貌似默认大家都懂,但是之前一直没看懂,按照自己的理解画出下图。

    • filter 做点积再求和,每次只生成 1 个数字
    • 整个数据走一遍,生成一个向量
    • 每一个 filter 生成一个向量
    • 组合在一起就是一个新的二维向量

      对于 keras 实现 1D CNN 的说明

      语法:

    keras.layers.convolutional.Conv1D(filters, kernel_size, strides=1, padding='valid', dilation_rate=1, activation=None, use_bias=True, kernel_initializer='glorot_uniform', bias_initializer='zeros', kernel_regularizer=None, bias_regularizer=None, activity_regularizer=None, kernel_constraint=None, bias_constraint=None)
    

      说明:

    • filters:卷积核的数目(即输出的维度),有几个 filter,最终就是几个维度(影响单词向量维度

    • kernel_size:整数或由单个整数构成的list/tuple,卷积核的空域或时域窗长度(影响文本长度的维度

    • strides:整数或由单个整数构成的list/tuple,为卷积的步长。任何不为1的strides均与任何不为1的dilation_rate均不兼容

    • padding:补0策略,为“valid”, “same” 或“causal”,“causal”将产生因果(膨胀的)卷积,即output[t]不依赖于input[t+1:]。当对不能违反时间顺序的时序信号建模时有用。参考WaveNet: A Generative Model for Raw Audio, section 2.1.。“valid”代表只进行有效的卷积,即对边界数据不处理。“same”代表保留边界处的卷积结果,通常会导致输出shape与输入shape相同。

    • activation:激活函数,为预定义的激活函数名(参考激活函数),或逐元素(element-wise)的Theano函数。如果不指定该参数,将不会使用任何激活函数(即使用线性激活函数:a(x)=x)

      测试输出维度:

    >>> import numpy as np
    >>> words = np.zeros((20, 30, 40))
    >>> import keras
    >>> out = keras.layers.Conv1D(33, 5)(words)
    >>> out.shape
    TensorShape([20, 26, 33])
    

      

  • 相关阅读:
    JS控制文本框输入的内容
    JavaScript属性
    无缝滚动
    CCS实例,网页栏目
    CSS特效
    HTML技巧
    如何解决问题
    判断输入的字符是不是数字
    删除txt文件内容
    能组成几个单词
  • 原文地址:https://www.cnblogs.com/alex-bn-lee/p/14227520.html
Copyright © 2011-2022 走看看