zoukankan      html  css  js  c++  java
  • 论文笔记-Sequence to Sequence Learning with Neural Networks

    大体思想和RNN encoder-decoder是一样的,只是用来LSTM来实现。

    paper提到三个important point:

    1)encoder和decoder的LSTM是两个不同的模型

    2)deep LSTM表现比shallow好,选用了4层的LSTM

    3)实践中发现将输入句子reverse后再进行训练效果更好。So for example, instead of mapping the sentence a,b,c to the sentence α,β,γ, the LSTM is asked to map c,b,a to α,β,γ, where α, β, γ is the translation of a, b, c. This way, a is in close proximity to α, b is fairly close to β, and so on, a fact that makes it easy for SGD to “establish communication” between the input and the output.  

  • 相关阅读:
    Linux(centos)下安装JDK
    springmvc的面试知识点总结
    建造者模式
    PHP原型模式
    PHP适配器模式
    php备忘录模式
    PHP代理模式proxy
    单例模式
    工厂模式
    结构模式
  • 原文地址:https://www.cnblogs.com/akanecode/p/8093752.html
Copyright © 2011-2022 走看看