词向量之word2vec实践

首先感谢无私分享的各位大神，文中很多内容多有借鉴之处。本次将自己的实验过程记录，希望能帮助有需要的同学。

一、从下载数据开始

    现在的中文语料库不是特别丰富，我在之前的文章中略有整理，有兴趣的可以看看。本次实验使用wiki公开数据，下载地址如下：

        wiki英文数据下载：https://dumps.wikimedia.org/enwiki/latest/enwiki-latest-pages-articles.xml.bz2

        wiki中文数据下载：https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2

二、英文数据处理

    1.抽取文本        wiki数据内容比较复杂，所以在处理之前需要做一些预处理。通过 process_wiki.py 将wiki数据中的每一篇文章转为1行文本。

     执行下行命令：

'''
process_wiki.py    处理程序
enwiki-latest-pages-articles.xml.bz2    英文wiki数据
wiki.en.text    输出的文本文件
'''
python process_wiki.py enwiki-latest-pages-articles.xml.bz2 wiki.en.text

process_wiki.py

#--*-- coding:utf-8 --*--

from __future__ import print_function

import logging
import os.path
import six
import sys

from gensim.corpora import WikiCorpus
#import WikiCorpus

if __name__ == '__main__':
    program = os.path.basename(sys.argv[0])
    logger = logging.getLogger(program)

    logging.basicConfig(format='%(asctime)s: %(levelname)s: %(message)s')
    logging.root.setLevel(level=logging.INFO)
    logger.info("running %s" % ' '.join(sys.argv))

    # check and process input arguments
    if len(sys.argv) != 3:
        print("Using: python process_wiki.py enwiki.xxx.xml.bz2 wiki.en.text")
        sys.exit(1)
    inp, outp = sys.argv[1:3]
    space = " "
    i = 0

    output = open(outp, 'w')
    wiki = WikiCorpus(inp, lemmatize=False, dictionary={})
    for text in wiki.get_texts():
        if six.PY3:
            output.write(bytes(' '.join(text), 'utf-8').decode('utf-8') + '
')
        #   ###another method###
        #    output.write(
        #            space.join(map(lambda x:x.decode("utf-8"), text)) + '
')
        else:
            output.write(space.join(text) + "
")
        i = i + 1
        if (i % 10000 == 0):
            logger.info("Saved " + str(i) + " articles")

    output.close()
logger.info("Finished Saved " + str(i) + " articles")

    2.训练词向量

    训练word2vec的开源代码非常多，使用的语言种类也很丰富，本实验使用gensim包训练词向量，其特点使用简便，训练速度快。

    执行下行命令：

'''
train_word2vec_model.py    训练程序
wiki.en.text    wiki文本数据
wiki.en.text.model    训练模型参数
wiki.en.text.vector    输出的词向量文件
'''
python train_word2vec_model.py wiki.en.text wiki.en.text.model wiki.en.text.vector

train_word2vec_model.py

#!/usr/bin/env python
# -*- coding: utf-8 -*-

from __future__ import print_function

import logging
import os
import sys
import multiprocessing

from gensim.models import Word2Vec
from gensim.models.word2vec import LineSentence

if __name__ == '__main__':
    program = os.path.basename(sys.argv[0])
    logger = logging.getLogger(program)

    logging.basicConfig(format='%(asctime)s: %(levelname)s: %(message)s')
    logging.root.setLevel(level=logging.INFO)
    logger.info("running %s" % ' '.join(sys.argv))

    # check and process input arguments
    if len(sys.argv) < 4:
        print("Useing: python train_word2vec_model.py input_text "
              "output_gensim_model output_word_vector")
        sys.exit(1)
    inp, outp1, outp2 = sys.argv[1:4]

    model = Word2Vec(LineSentence(inp), size=128, window=5, min_count=5,
                     workers=multiprocessing.cpu_count())

    model.save(outp1)
    model.wv.save_word2vec_format(outp2, binary=False)

    3.测试词向量

import gensim    #导入包
model = gensim.models.KeyedVectors.load_word2vec_format("wiki.en.text.vector", binary=False)
model.most_similar('queen')    #测试相关词
model.similarity("woman", "man")    #测试次间距

三、中文数据处理

    1.抽取文本

    同英文处理类似，执行如下命令：

python process_wiki.py zhwiki-latest-pages-articles.xml.bz2 wiki.zh.text

    2.繁体字转简体字         

    wiki中文数据中存在很多繁体中文，因此首先需要将繁体字转为简体中文。

    本文使用开源工具 opencc，首先安装：

     (1) linux安装及执行

 yum install opencc-tools     #安装

#执行命令
'''
wiki.zh.text    输入的为转化文本
wiki.zh.text.jian    输出的简体中文文本
-c    hk2s.json
       s2hk.json
       zhs2zht.json
       s2tw.json
       s2twp.json
       zht2zhs.json
       tw2s.json
       tw2sp.json
'''
opencc -i wiki.zh.text -o wiki.zh.text.jian -c zht2zhs.json

     (2)python安装及执行

pip install OpenCC      #安装
#执行
import opencc
opencc.convert(string, config='t2s.json')

    3.分词       

    本文使用结巴分词，使用方法比较简单，在这里不加赘述。

    4.编码处理

    将文本全部转为UTF-8编码

iconv -c -t UTF-8 < wiki.zh.text.jian.seg > wiki.zh.text.jian.seg.utf-8

    5.训练词向量      

    执行下行命令(训练代码同英文训练)：

'''
train_word2vec_model.py    训练程序
wiki.zh.text    wiki文本数据
wiki.zh.text.model    训练模型参数
wiki.zh.text.vector    词向量文件
'''
python train_word2vec_model.py wiki.zh.text wiki.zh.text.model wiki.zh.text.vector

    6.测试词向量(同英文词向量测试)

import gensim
model = gensim.models.KeyedVectors.load_word2vec_format("wiki.zh.text.vector", binary=False)
model.most_similar('女人')
model.similarity("女人", "男人")

四、其他

    除了使用上文中的process_wiki.py，还可以使用 Wikipedia Extractor，命令如下：

'''
参数 -b 1000M 表示以 1000M 为单位切分文件,
默认是 500K。由于最后生成的正文文本不到 600M，
把参数设置的大一些可以保证最后的抽取结果全部存在
一个文件里
'''
bzcat zhwiki-latest-pages-articles.xml.bz2 | python WikiExtractor.py -b 1000M -o extracted >output.txt

 **********************************

*         吃饱了踏实，努力了充实          *

 **********************************