zoukankan      html  css  js  c++  java
  • NLP(十六) DL在NLP中的应用

    原文链接:http://www.one2know.cn/nlp16/

    • 深度学习中的核心主题是卷积神经网络(CNN)循环神经网络(RNN)

    卷积神经网络

    • CNN用于图像处理
      卷积:

      原始图像 5×5
      滤波器 3×3
      滤波器以步长大于小于1,到处平移,并与原始图像里的3×3做乘积运算,得到卷积特征/激活映射(activation map)。
      卷积的优势:
      1.全连接层代替固定尺寸,减少了神经元的数量
      2.滤波器将上一层的像素汇总到下一层
      3.反向传播过程中,只需根据反向传播误差更新滤波器权重,就可使效率提高
    • 池化
      将激活表示的维数减少
      例如,将4×4的矩阵分解成4个2×2的矩阵,只保留最大值,缩减成2×2矩阵
    • 填充
      可以保持图片大小不发生改变或者使整个网络的大小处于可控状态
      比如,零填充,添一圈0,3×3 => 5×5
    • 特征图大小的计算
      从卷积层到特征图的大小变化:

      W是原始图像的宽度,F是滤波器的大小,P是填充大小,S是步长
    • CNN的应用
      1.图像分类
      2.人脸识别
      3.场景标注
      4.自然语言处理:将句子表示为向量,就可以使用CNN完成分类;CNN进行一维卷积时,宽度是常量,那么滤波器只需在广度上移动。

    循环神经网络

    • 输入相互独立时,用CNN;前后依赖,不独立时,用RNN
    • RNN原理公式:
    • LSTM
      长短型记忆网络,解决梯度消失和梯度爆炸问题
      LSTM是一个人工神经网络,除常规网络单元外,还有LSTM模块。LSTM包含三个门,输入门、遗忘门、输出门。输入门用来确定何时输入足够重要的信息,遗忘门用来确定何时继续记住或忘记上一刻的信息,输出门则用来确定应该何时输出当前时刻的信息
    • RNN在NLP领域应用
      1.语言模型:给一次词序列,预测下一个可能出现的单词
      2.文本生成:根据作者的作品产生新文本
      3.机器翻译:一种语言=>另一种语言
      4.聊天机器人:与机器翻译类似,需要用双方问答来训练模型
      5.生成图像描述:将RNN与CNN一起训练生成图像的标题或描述
  • 相关阅读:
    171. Excel Sheet Column Number (Easy)
    349. Intersection of Two Arrays (Easy)
    453. Minimum Moves to Equal Array Elements (Easy)
    657. Judge Route Circle (Easy)
    CSS笔记
    保存页面状态
    UI开发总结
    ubuntu 下配置munin
    反向代理配置
    JavaScript 高级程序设计第二版
  • 原文地址:https://www.cnblogs.com/peng8098/p/nlp_16.html
Copyright © 2011-2022 走看看