zoukankan      html  css  js  c++  java
  • 关系抽取 ---远程监督 ---《Multi-Level Structured Self-Attentions for Distantly Supervised Relation Extraction》

    本文准确来说,创新点基本没有,如果说,那就是比其他paper更多的参数。采用2-D的矩阵来进行word和sentence表示,希望能捕获更多的语义信息。

    优点:

      (1)在关系抽取中首次提出2Dquery vector,并赋予了其实际意义对2D query vector矩阵的约束个人感觉也是一个小亮点.

      (2)写作思路上清晰无比,实验上紧扣主题,全文都在强调2D,2D,2D。感觉读下好像被洗脑了一样.

      (3)将其他领域的方法较好的借鉴了过来,说明要多阅读各个方面的文章。

    缺点:

      缺少创新性,因为方法确实和其他领域的一篇文章太像了.

      

    模型结构:

        

       对于一个entity-pair的bag的句子,一共有J个。每个句子由N个word组成

        

       经过BLSTM的输出,H的维度为N*2u,u为LSTM的隐藏单元个数:

        

      之后就是word-attention:

        

         

        

                惩罚项:       

       sentence-level的attention:

             

         

        

     实验:

        

       证明,参数数量越多确实能提高指标...

       

       

  • 相关阅读:
    WPF中的brushes
    com中的线程模式(转)
    线程同步
    WPF线程
    应用程序管理(Application)
    WPF的继承结构树
    HTML技巧100例(一)
    多个网站共用一个空间的超值玩法
    用JavaScript实现浏览器地震效果
    HTML技巧100例(二)
  • 原文地址:https://www.cnblogs.com/dhName/p/11909702.html
Copyright © 2011-2022 走看看