zoukankan      html  css  js  c++  java
  • 使用github--stanfordnlp--glove训练自己的数据词向量

    1.准备语料

    准备好自己的语料,保存为txt,每行一个句子或一段话,注意要分好词。将分好词的语料保存为×××.txt

    2.准备源码

    下载地址:https://github.com/stanfordnlp/GloVe,解压后将语料×××.txt添加到GloVe-master文件夹下

    3.修改训练语料地址

    打开demo.sh文件,由于默认是下载TXT8作为语料,故将这段代码删除,并修改CORPUS=×××.txt,最终文件内容如下:

    其他应该都可以自行修改。

    4.执行

    打开终端,进入GloVe-master文件后:

    (1)make

    (2)demo.sh

    5.修改词向量文件

    训练后会得到vetors.txt,打开后在第一行加上vacob_size vector_size,这样才能用word2vec的load函数加载成功

    第一个数指明一共有多少个向量,第二个数指明每个向量有多少维

    6.加载使用巽寮的词向量

    1 from gensim.models import Word2Vec  
    2   
    3 model = Word2Vec.load_word2vec_format(‘vectors.txt’, binary=False) 

    接下来的使用就和word2vec一样

  • 相关阅读:
    光与爱的世界
    [家里训练20_02_28]ABC
    [爬虫]美术作业,爬虫和百度图片
    [机器学习]第六、七周记录
    数据类型和对象
    设备对象
    进程、内存线程
    创建符号链接
    SCM管理器
    Nt内核函数原型and中文
  • 原文地址:https://www.cnblogs.com/dhName/p/12353339.html
Copyright © 2011-2022 走看看