zoukankan      html  css  js  c++  java
  • attention

    https://www.bilibili.com/video/BV1kE411G7qo?p=13

    1.  

     

      I 将index转化为词向量

      G 更新向量中的信息

      O ouput向量

      R 将向量转化为 词/句子

       

    Memory Network 流程:

      1.  我们有一些facts 向量John... Bob... 为m1,m2等(这些就是memory); query 为向量U

      2. 先将facts向量与query向量 dot product,生成一些值,再入softmax,得到每个fact的概率 p1,p2..pn

      3. 将概率与 facts向量相乘 再加和,得到memory 向量,用来更新memory

      4. 如果想再走一层,可以将算出来的memory向量u2,再与m1,m2,m3点乘,softmax,带权相乘相加,得到u3,然后将向量输出成 词 kitchen (或者句子),也是用softmax选取u3 对所有已知向量中soft max 最大的对应的词

      5. 而facts vector 或 query vector 都是 bag-of-word 或 word2vec

    例如: 

      1. query : football -> u1 : john picked up the football -> u2: john was in playgroud

     

  • 相关阅读:
    Java实现分页
    研发技能列表
    shell 函数
    养生
    再谈创新
    写代码注意事项
    排查问题方法
    简历撰写
    jenkins
    架构
  • 原文地址:https://www.cnblogs.com/ChevisZhang/p/13667572.html
Copyright © 2011-2022 走看看