zoukankan      html  css  js  c++  java
  • 学习笔记(47)- Mem2Seq

    Mem2Seq在DSTC2拥有最高75.3%的Entity F1得分和55.3 BLEU得分

    https://github.com/HLTCHKUST/Mem2Seq

    Mem2Seq: Effectively Incorporating Knowledge Bases into End-to-End Task-Oriented Dialog Systems (ACL 2018).

    论文

    Mem2Seq有效结合KB与端到端任务型对话系统

    针对RNN存在长时间遗忘的问题,基于MemNN,本文提出了Mem2Seq模型

    当前较为流行的端到端任务型对话系统

    主要贡献:

    1)Mem2Seq是第一个将多跳注意力机制与指针网络结合起来的模型,并允许我们有效地结合知识库信息。

    2)Mem2Seq学习了如何动态生成查询去控制Memory的访问,可以可视化memory控制器和attention的跳跃之间的模型动态。

    3)Mem2Seq可以更快地进行训练,并在几个任务型对话数据集中实现最先进的结果。

    原文的创新点:

    • Mem2Seq是第一个使用带有指针网络思想的多跳注意力机制的模型,这种方法有效的结合了KB的信息。
    • Mem2Seq学习如何生成动态的查询来控制memory的访问。

    代码

    本仓库实现:

    • Mem2Seq: Memory to Sequence (Our model)
    • Seq2Seq: Vanilla seq2seq model with no attention (enc_vanilla)
    • +Attn: Luong attention attention model
    • Ptr-Unk: combination between Bahdanau attention and Pointer Networks (Point to UNK words)

    https://github.com/xuehuiping/Mem2Seq/blob/master/note.md

  • 相关阅读:
    次小生成树模板(poj1679)
    ISAP模板
    ZOJ3781
    Uva12663
    LightOJ1089
    网络流DINIC模板
    FZU2030(括号匹配)
    NOIP2011提高组(选择客栈)
    DRF之视图家族
    DRF多表设计与ModelSerializer组件
  • 原文地址:https://www.cnblogs.com/xuehuiping/p/12835628.html
Copyright © 2011-2022 走看看