zoukankan      html  css  js  c++  java
  • Using Fast Weights to Attend to the Recent Past

    Ba, Jimmy, et al. "Using Fast Weights to Attend to the Recent Past." Advances In Neural Information Processing Systems. 2016.

     

    感觉就是引入了memory的机制,多了一个矩阵A,用来储存一定的信息。矩阵A在每次输入新的训练数据的时候会发生一定的变化。在两次数据输入期间,memory并不会变化,但是神经网络的隐藏输出会不断迭代变化。感觉这和人晚上睡觉一样,没有接受新的输入,但是大脑依然是活跃的,比如做梦。感觉像是一种时序的Attention机制,因为最后一个公式就好像是把以前所有的隐藏状态按照时间衰减和一定的attention进行了融合。该工作仍然值得深入分析。

    有两个repo实现了这个算法:https://github.com/ajarai/fast-weights  和 https://github.com/jiamings/fast-weights

  • 相关阅读:

    链表
    队列
    稀疏数组
    SQL——流程控制
    SQL——存储过程与函数
    SOA
    MVC模式
    《一线架构师实践指南》--阅读笔记三
    《一线架构师实践指南》-阅读笔记二
  • 原文地址:https://www.cnblogs.com/huangshiyu13/p/6651938.html
Copyright © 2011-2022 走看看