今天参考网上的博客，用gensim训练了word2vec词向量。训练的语料是著名科幻小说《三体》，这部小说我一直没有看，所以这次拿来折腾一下。
《三体》这本小说里有不少人名和一些特殊名词，我从网上搜了一些，作为字典，加入到jieba里，以提高分词的准确性。
一、gensim中关于word2vec的参数说明
这一部分其他博客整理的比较清楚了，我也就不抄过来了。看这个链接：
https://www.cnblogs.com/pinard/p/7278324.html
二、gensim训练word2vec词向量
（一）第一步：jieba加载自定义词典
词典是每个词单独一行，然后加入的时候，要注意把换行符去掉：word.strip()，不然你会惊奇地发现我的词典加进去了怎么没效果呢？
#encoding=utf8 import jieba from gensim.models import word2vec import gensim # 第一步：加入字典 def add_dict(): f = open('./text/special_nouns.txt','r', encoding='utf-8') for word in f: jieba.suggest_freq(word.strip(),tune=True) f.close() add_dict()
（二）第二步：读取小说文本，进行分词，并保存分词结果
一般小说下载下来，文档的原始编码格式不是 UTF-8，而是 GBK，所以要进行编码转换。看其他博客转来转去比较麻烦，我是没转成功。。。然后我就直接把文档另存为 UTF-8 格式了。
jieba分完词后，要把结果用空格 ' ' 符号连接起来：' '.join(jieba.cut(document))， 词语之间用空格隔开，这才是正确的输入格式。
# 第二步：读取三体小说的文本，并进行分词 def document_segment(filename): f = open(filename, 'r',encoding='utf-8') document = f.read() document_cut = ' '.join(jieba.cut(document)) with open('./text/The_three_body_problem_segment.txt','w',encoding='utf-8') as f2: f2.write(document_cut) # f.close() f2.close() document_segment('./text/The_three_body_problem.txt')
（三）第三步：用CBOW模型训练词向量
LineSentence这个方法把传入的文件转化为一个迭代器，这个文件需要是每一行就是一个句子，每个句子中的词之间用空格隔开。
word2vec 相关的参数都在包word2vec.Word2Vec中，sg=0表示用CBOW模型来训练，hs=1表示加速方法为层次softmax，min_count=1表示词的词频低于1就会被丢弃，实际上没丢弃任何词语。
windows=3 表示滑动窗口为3，上下文词各取1个。size=100表示词向量维度是100。
之所以这么设置是因为这个语料比较小。
def train_w2v(filename): text = word2vec.LineSentence(filename) model = word2vec.Word2Vec(text, sg=0,hs=1,min_count=1,window=3,size=100) model.save('./my_model') train_w2v('./text/The_three_body_problem_segment.txt')
（四）第四步：导入模型，简单应用
导入保存好的模型后，一个是根据词把相应的词向量取出来，可以看到，取了三个词的词向量，所以词向量矩阵为3*100维。
然后是计算两个词之间的相似度。再就是得到和某个词比较相关的词的列表。
# 导入保存好的模型 model = word2vec.Word2Vec.load('./my_model') # 取出词语对应的词向量。 vec = model[['红岸','水滴','思想钢印']] print('三个词的词向量矩阵的维度是：', vec.shape,'。') print('-------------------------------我是分隔符------------------------') # 计算两个词的相似程度。 print('叶文洁和红岸的余弦相似度是：', model.similarity('叶文洁', '红岸'),'。') print('-------------------------------我是分隔符------------------------') # 得到和某个词比较相关的词的列表 sim1 = model.most_similar('叶文洁',topn=10) for key in sim1: print('和叶文洁比较相关的词有',key[0],'，余弦距离是：',key[1])
三个词的词向量矩阵的维度是： (3, 100) 。 -------------------------------我是分隔符------------------------ 叶文洁和红岸的余弦相似度是： 0.27795327 。 -------------------------------我是分隔符------------------------ 和叶文洁比较相关的词有 章北海 ，余弦距离是： 0.9233694672584534 和叶文洁比较相关的词有 他 ，余弦距离是： 0.9116515517234802 和叶文洁比较相关的词有 罗辑 ，余弦距离是： 0.9056273698806763 和叶文洁比较相关的词有 汪淼 ，余弦距离是： 0.8981802463531494 和叶文洁比较相关的词有 吴岳 ，余弦距离是： 0.8976055979728699 和叶文洁比较相关的词有 她 ，余弦距离是： 0.893031895160675 和叶文洁比较相关的词有 程心 ，余弦距离是： 0.8800253868103027 和叶文洁比较相关的词有 丁仪 ，余弦距离是： 0.8800160884857178 和叶文洁比较相关的词有 云天明 ，余弦距离是： 0.8763566613197327 和叶文洁比较相关的词有 她们 ，余弦距离是： 0.875525712966919