zoukankan      html  css  js  c++  java
  • 论文阅读(13)Recognizing Implicit Discourse Relations via Repeated Reading: Neural Networks with Multi-Level Attention(2016)

    Recognizing Implicit Discourse Relations via Repeated Reading: Neural Networks with Multi-Level Attention(2016)

    Motivation

    为了模仿 重复阅读策略,我们提出了Neural Network with Multi-level attention(NNMA), 综合attention机制和external memories,将注意力逐渐固定在一些有助于判断篇章关系的特定词汇上。

    Neural Networks with Multi-Level Attention

    • One general level:

      • 捕捉 general representations of each argument based on Bi-LSTM
    • Several attention

      • NNMA在论元对上生成一个权重向量,以定位与篇章关系相关的重要部分。
    • external short-term memory

      • 存储在以前的级别中利用的信息,并帮助 更新论元表示。
    • 用循环的方式堆叠这个结构,模拟多次阅读论元的过程。

    • 最后使用highest attention level的representation输出来识别篇章关系

    算法流程

    • 略读,使用Bi-LSTM

    • 设计几个attention Levels模拟随后的多次阅读

    • 在每个attention level上,外部短期记忆用于存储从以前学到的东西,并指导应该关注哪些单词。为了找出论元中有用的部分,注意力机制被用来预测每个单词的概率分布,指示每个单词应该被关注的程度。 如图。

  • 相关阅读:
    php odbc连接 查询显示不完整问题
    php集成环境
    intent实现网页跳转
    夜神模拟器
    Android编程知识点3-Intent
    Android编程知识点2- 线性布局,随机数
    Android编程知识点1-Button,ListView
    数据存储和访问
    Android计时器
    组件通信2
  • 原文地址:https://www.cnblogs.com/douzujun/p/13882141.html
Copyright © 2011-2022 走看看