zoukankan      html  css  js  c++  java
  • torch.nn.Embedding进行word Embedding

    torch.nn.Embedding

    在pytorch里面实现word embedding是通过一个函数来实现的:nn.Embedding

    import torch
    
    def look_up():
        word_to_ix={'天':0,"地":1}
        lookup_tensor = torch.tensor([word_to_ix['地']],dtype=torch.long)
        embeds=torch.nn.Embedding(2,10)
        print(lookup_tensor.item())
        hello_embed=embeds(lookup_tensor)
        print(hello_embed)
    
    if __name__ == '__main__':
        look_up()
    

    这就是我们输出的“天”这个词的word embedding,代码会输出如下内容,接下来我们解析一下代码:

    1
    tensor([[-0.4903, -2.0984, -0.0904,  0.4799,  0.4349,  0.0862, -0.3838,  0.0440,
              0.5519,  0.7626]], grad_fn=<EmbeddingBackward>)
    

    首先我们需要word_to_ix = {'天': 0, '地': 1},每个词语我们需要用一个数字去表示他,这样我们需要hello的时候,就用0来表示它。

    接着就是word embedding的定义nn.Embedding(2, 5),这里的2表示有2个词,5表示5维度,其实也就是一个2x5的矩阵,所以如果你有1000个词,每个词希望是100维,你就可以这样建立一个word embeddingnn.Embedding(1000, 100)

    关于nn.Embedding()感觉就是比直接one hot 好一点,如果想要提升精度,肯定在word Embedding这块要使用 bert如今更主流的模型进行预训练。

  • 相关阅读:
    drf之版本控制
    drf自定义筛选
    drf----分页
    初识drf
    flask源码分析01:框架简介
    Werkzeug之LocalStack源码解析
    Werkzeug之Local源码解析
    threading.local之数据存储隔离
    python之attr
    Python在pycharm中编程时应该注意的问题汇总
  • 原文地址:https://www.cnblogs.com/jimlau/p/13372038.html
Copyright © 2011-2022 走看看