参考:Convolutional Neural Networks for Text Classification
参考:【book】- Neural Network Methods for NLP
参考:自然语言处理中CNN模型几种常见的Max Pooling操作
原图:
简单说明:
个人理解:
关于一维卷积神经网络的具体实现过程全网说的比较隐晦,貌似默认大家都懂,但是之前一直没看懂,按照自己的理解画出下图。
- filter 做点积再求和,每次只生成 1 个数字
- 整个数据走一遍,生成一个向量
- 每一个 filter 生成一个向量
- 组合在一起就是一个新的二维向量
对于 keras 实现 1D CNN 的说明
语法:
keras.layers.convolutional.Conv1D(filters, kernel_size, strides=1, padding='valid', dilation_rate=1, activation=None, use_bias=True, kernel_initializer='glorot_uniform', bias_initializer='zeros', kernel_regularizer=None, bias_regularizer=None, activity_regularizer=None, kernel_constraint=None, bias_constraint=None)
说明:
-
filters:卷积核的数目(即输出的维度),有几个 filter,最终就是几个维度(影响单词向量维度)
-
kernel_size:整数或由单个整数构成的list/tuple,卷积核的空域或时域窗长度(影响文本长度的维度)
-
strides:整数或由单个整数构成的list/tuple,为卷积的步长。任何不为1的strides均与任何不为1的dilation_rate均不兼容
-
padding:补0策略,为“valid”, “same” 或“causal”,“causal”将产生因果(膨胀的)卷积,即output[t]不依赖于input[t+1:]。当对不能违反时间顺序的时序信号建模时有用。参考WaveNet: A Generative Model for Raw Audio, section 2.1.。“valid”代表只进行有效的卷积,即对边界数据不处理。“same”代表保留边界处的卷积结果,通常会导致输出shape与输入shape相同。
-
activation:激活函数,为预定义的激活函数名(参考激活函数),或逐元素(element-wise)的Theano函数。如果不指定该参数,将不会使用任何激活函数(即使用线性激活函数:a(x)=x)
测试输出维度:
>>> import numpy as np >>> words = np.zeros((20, 30, 40)) >>> import keras >>> out = keras.layers.Conv1D(33, 5)(words) >>> out.shape TensorShape([20, 26, 33])