zoukankan      html  css  js  c++  java
  • python库--jieba(中文分词)

    import jieba
    精确模式,试图将句子最精确地切开,适合文本分析;全模式,把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义;搜索引擎模式,在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。
    .cut() sentence 需要分词的字符串
    cut_all=F 是否采用全模式(否则使用精确模式)
    HMM=T 是否使用HMM模型(可识别不在词典中的词)
    .cut_for_search() (sentence, HMM=T) 搜索引擎模式
    .load_userdict(f) 载入词典, f为自定义词典的路径词典格式和dict.txt一样, 一个词占一行; 每一行分三部分, 一部分为词语, 另一部分为词频(可省略, 词频越高成词几率越大),最后为词性(可省略), 用空格隔开
    .suggest_freq() 使用建议的单词频率强制一个单词中的字符拆分或连接 
    .add_word() word 需要修改词频或词性的词
    freq=N 设置词频
    tag=N 设置词性
    import jieba.analyse
    .extract_tags 基于TF-IDF算法的关键词抽取
    sentence 待提取的文本
    topK=20 返回多少个TF/IDF权重最大的关键词
    withWeight=F 是否一并返回关键词权重值(word, weight)
    allowPOS=() 仅包括指定词性的词, 默认不筛选
    withFlag=F 当 allowPOS不为空,是否返回对象(word, weight),类似posseg.cut
  • 相关阅读:
    linux查看系统挂载磁盘
    Jenkins REST API 实例
    Python中 __init__.py的作用
    转载:Python中打开文件的方式(With open)
    利用tail -f /dev/null命令防止container启动后退出
    echo -e 命令详解
    Python排序
    Linux操作系统下删除除具体文件或目录之外的文件
    linux pam模块学习
    vsftpd服务器配置
  • 原文地址:https://www.cnblogs.com/P--K/p/7965421.html
Copyright © 2011-2022 走看看