torch.nn.Embedding
在pytorch里面实现word embedding
是通过一个函数来实现的:nn.Embedding
import torch
def look_up():
word_to_ix={'天':0,"地":1}
lookup_tensor = torch.tensor([word_to_ix['地']],dtype=torch.long)
embeds=torch.nn.Embedding(2,10)
print(lookup_tensor.item())
hello_embed=embeds(lookup_tensor)
print(hello_embed)
if __name__ == '__main__':
look_up()
这就是我们输出的“天”这个词的word embedding,代码会输出如下内容,接下来我们解析一下代码:
1
tensor([[-0.4903, -2.0984, -0.0904, 0.4799, 0.4349, 0.0862, -0.3838, 0.0440,
0.5519, 0.7626]], grad_fn=<EmbeddingBackward>)
首先我们需要word_to_ix = {'天': 0, '地': 1}
,每个词语我们需要用一个数字去表示他,这样我们需要hello的时候,就用0来表示它。
接着就是word embedding
的定义nn.Embedding(2, 5)
,这里的2表示有2个词,5表示5维度,其实也就是一个2x5的矩阵,所以如果你有1000个词,每个词希望是100维,你就可以这样建立一个word embedding
,nn.Embedding(1000, 100)
。
关于nn.Embedding()感觉就是比直接one hot 好一点,如果想要提升精度,肯定在word Embedding这块要使用 bert如今更主流的模型进行预训练。