zoukankan      html  css  js  c++  java
  • Day4_attention is all you need 论文阅读下篇

    今天收获满满吧,竟然一天时间可以把那个论文弄得差不多了,最后晚上导师把论文过了一遍感觉也清楚了逻辑,也知道了哪里需要学习的地方。基本明天可以学python,写代码了。

    1.self-attention机制,可以描述为将query和一组key-value对映射到输出,其中querykeyvalue和输出都是向量。输出为value的加权和,其中分配给每个value的权重通过query与相应key的兼容函数来计算

      具体来说:有3个关键的向量Q,K,V初始时随机生成的,X向量是单词通过word2vec转换的向量。其步骤 :第一步,将query key进行点积计算得到权重,对应相乘。第二步,将权重进行softmax化。第三步,将value与权重对应相乘并进行相加得到attention

    2.多头注意力机制,即在self-attention机制中的Q,W,K可以分别设置多个不同w的参数(线性变换),可以并行运行,最后连接,然后线性化。问了导师,导师的意思将维度增加。这样做的好处是:可以使不同的表示子空间内学习到相关的信息。

    3.X--->(n,512) 8个头,Q(n,64),K(n,64),V(n,64)----------维度这里没有搞明白到底怎么计算的,多层的时候怎么计算的

    4. 上图大体,是Encoder部分,Decoder部分。在Encoder部分,首先,得到了X输入序列,进行位置编码,然后进入多头自我注意,每两层用到了残差连接,进行相加和规范化。然后进行反馈网络,然后残差连接。将输出的序列以及K,V传到Decoder部分。Decoder部分,将目标端的序列进行attention,然后残差连接,与Encoder传来的参数,并将Q传到下一部分进行multi-head attention,然后残差连接,最后线性化,并归一化。

    5.要学习的position-encoding,embedding,前馈网络,损失函数,Dropout,label smoothing,正则化------打包回家

    感觉写下来,嗯没有表达完。。。。。。。。。。

  • 相关阅读:
    CentOS6.8安装Oracle11g单实例
    Ubuntu16.04使用apt安装完nginx常见问题
    简单配置 docker swarm
    子域名查询
    小米监控--Open-Falcon
    Mongodb学习笔记一(Mongodb环境配置)
    ElasticSearch第一步-环境配置
    调用webapi 错误:使用 HTTP 谓词 POST 向虚拟目录发送了一个请求,而默认文档是不支持 GET 或 HEAD 以外的 HTTP 谓词的静态文件。的解决方案
    sql语句 in的教训
    NVelocity学习笔记一——linq2sql+NVelocity完整demo
  • 原文地址:https://www.cnblogs.com/Shaylin/p/9813427.html
Copyright © 2011-2022 走看看