Recognizing Implicit Discourse Relations via Repeated Reading: Neural Networks with Multi-Level Attention（2016）
Motivation
为了模仿 重复阅读策略，我们提出了Neural Network with Multi-level attention（NNMA）, 综合attention机制和external memories，将注意力逐渐固定在一些有助于判断篇章关系的特定词汇上。
Neural Networks with Multi-Level Attention
-
One general level：
- 捕捉 general representations of each argument based on Bi-LSTM
-
Several attention
- NNMA在论元对上生成一个权重向量，以定位与篇章关系相关的重要部分。
-
external short-term memory
- 存储在以前的级别中利用的信息，并帮助 更新论元表示。
-
用循环的方式堆叠这个结构，模拟多次阅读论元的过程。
-
最后使用highest attention level的representation输出来识别篇章关系
算法流程
-
略读，使用Bi-LSTM
-
设计几个attention Levels模拟随后的多次阅读
-
在每个attention level上，外部短期记忆用于存储从以前学到的东西，并指导应该关注哪些单词。为了找出论元中有用的部分，注意力机制被用来预测每个单词的概率分布，指示每个单词应该被关注的程度。 如图。
