zoukankan      html  css  js  c++  java
  • torch.nn.Embedding理解

    Pytorch官网的解释是:一个保存了固定字典和大小的简单查找表。这个模块常用来保存词嵌入和用下标检索它们。模块的输入是一个下标的列表,输出是对应的词嵌入。

    torch.nn.Embedding(num_embeddings, embedding_dim, padding_idx=None, max_norm=None, norm_type=2, scale_grad_by_freq=False, sparse=False)

    个人理解:这是一个矩阵类,里面初始化了一个随机矩阵,矩阵的长是字典的大小,宽是用来表示字典中每个元素的属性向量,向量的维度根据你想要表示的元素的复杂度而定。类实例化之后可以根据字典中元素的下标来查找元素对应的向量。

    输入下标0,输出就是embeds矩阵中第0行。

    放代码:

    调试过程的参数:

    用途:用作自然语言处理中作用很大

    而对于一个词,我们自己去想它的属性不是很困难吗,所以这个时候就可以交给神经网络了,我们只需要定义我们想要的维度,比如100,然后通过神经网络去学习它的每一个属性的大小,而我们并不用关心到底这个属性代表着什么,我们只需要知道词向量的夹角越小,表示他们之间的语义更加接近

    参考网址:https://my.oschina.net/earnp/blog/1113896

    http://pytorch-cn.readthedocs.io/zh/latest/package_references/torch-nn/
    ---------------------
    作者:tommorrow12
    来源:CSDN
    原文:https://blog.csdn.net/tommorrow12/article/details/80896331
    版权声明:本文为博主原创文章,转载请附上博文链接!

  • 相关阅读:
    20190817-T1-LOJ6322「雅礼国庆 2017 Day6」Star Way To Heaven
    20190817-涪
    20190816-周期
    考试总结 模拟95
    考试总结 模拟94
    考试总结 模拟93
    考试总结 模拟92
    考试总结 模拟91
    考试总结 模拟90
    考试总结 模拟89
  • 原文地址:https://www.cnblogs.com/jfdwd/p/11077162.html
Copyright © 2011-2022 走看看