zoukankan      html  css  js  c++  java
  • FaceBook开源的词向量计算框架

      fasttext是个好东西,是由facebook在2016年推出的一个训练词向量的模型。相比于之前Google的word2vec,fasttext可以解决out of vocabulary的问题。fasttext还能够用于有监督的文本分类。更赞的是,facebook提供了200多种语言的预训练模型和词向量。
      具体操作可以使用pyfasttext模块实现。

      代码如下:

    1 from pyfasttext import FastText
    2 # 加载出现的模型
    3 model = FastText('./ch_data.bin')
    4 #词表示学习
    5 model.skipgram(input='data.txt', output='model', epoch=100, lr=0.7)
    6 # model.cbow(input='data.txt', output='model', epoch=100, lr=0.7)
    7 # 词向量
    8 model['dog']

    输出:

    array('f', [-1.308749794960022, -1.8326224088668823, ...])

    之后根据你的需要,将词向量用在什么地方由自己决定。

    注意:pyfasttext,运行在linux和mac系统上
       fasttext,运行在windows上
  • 相关阅读:
    K8s网络插件flannel与calico
    calico部署与网卡绑定
    脚本基本函数
    k8s迁移工具-helm
    mysql不识别中文
    日志收集系统对比
    VM虚拟机安装后的网络设置
    微擎目录结构介绍
    amazeui笔记-web组件
    jQuery 数据
  • 原文地址:https://www.cnblogs.com/demo-deng/p/9882720.html
Copyright © 2011-2022 走看看