卷积神经网络

• 卷积操作主要用于处理类网格结构的数据，对于时间序列以及图像数据的分析与识别具有显著优势

本质特性

• 稀疏交互
  • 每个输出神经元仅与前一层特定局部区域内的神经元存在连接权重（产生交互）
  • 假设网络中相邻两层分别具有(m)个输入和(n)个输出
    • 全连接网络：(m imes n)个参数的权值矩阵
    • 卷积网络：(k imes n)个参数的权值矩阵，(k)为每个输出神经元连接的输入数
  • 减少了参数个数，防止了过拟合
  • 物理意义：通常图像、文本、语音等数据具有局部的特征结构。可以先学习局部特征，再将局部特征组合起来形成更复杂特征
• 参数共享
  • 不同模块使用相同参数
    • 全连接网络：权值参数矩阵中的每个元素只作用于某个输入元素一次
    • 卷积网络：卷积核中的每个元素作用于每一次局部输入的特定元素上
  • 物理意义：
    • 卷积层具有平移等变性，神经网络的输出对于平移是等变的

池化操作

• 本质是降采样
• 非重叠区域
  • 均值池化
    • 抑制由于邻域大小受限造成估计值方差增大的现象
    • 对背景的保留效果好
  • 最大池化
    • 抑制网络参数误差造成估计均值偏移
    • 更好地提取纹理特征
• 相邻重叠区域
  • 采用比窗口宽度更小的步长，窗口每次滑动时存在重叠区域
• 空间金字塔池化
  • 考虑多尺度信息，同时计算多个尺度池化结果并拼接
• 池化操作能显著降低参数数量，还能保持对平移、伸缩、旋转操作的不变性

文本分类任务

• 核心思想：捕捉局部特征
• 优势：自动对N-gram特征进行组合和筛选，获得不同层次抽象语义
• 网络结构(以关系抽取为例)
  • 输入层：[batch_size, sentence_len, embedding_size]
  • 卷积层
    • 核大小：[window_size, embedding_size]
      • windows_size为卷积核在单词长度方向大小
    • 步长：stride
    • 卷积核个数：hidden_size
      • 相同大小卷积核的个数，也就是输出通道
    • 输出：[batch_size, sentence_len-stride+1, hidden_size]
  • 池化层
    • 在第1维进行最大池化
    • [batch_size, hidden_size]
  • 全连接层
    • Softmax函数输出每个类别概率