zoukankan      html  css  js  c++  java
  • python中jieba库的介绍和应用

    jieba库作为python中的第三方库,在平时是非常实用的,例如一些网站就是利用jieba库的中文分词搜索关键词进行工作。

    一、安装环境

    window + python

    二、安装方式

    在电脑命令符(cmd)中直接写进下面的语句:pip install jieba    即可

    三、jieba库分词的基本原理

    1、利用中文词库,分析汉字与汉字之间的关联几率

    2、还有分析汉字词组的关联几率

    3、还可以根据用户自定义的词组进行分析

    四、jieba库三种模式和对应的三个函数

    精确模式 : 把文本精确的切分开,不存在冗余单词   (就是切分开之后一个不剩的精确组合) 

    全模式 : 把文本中所有可能的词语都扫描出来,有冗余

    即: 可能有一个文本,可以从不同的角度来切分,变成不同的词语。在全模式下把不同的词语都挖掘出来

    搜索引擎模式:在精确模式基础上,对长词语再次切分

    函数 对应模式
    lcut(s) 精确模式,没有多余
    lcut(s,cut_all=Ture) 全模式,有多余,长词组
    lcut_for_search(s) 搜索引擎模式,有多余,长词组

    例如:

    以上就是jieba库的一些基本的知识。

     五、jieba库词频统计实例

    利用jieba库找出一篇文章中的关键词

    1、先把文章存为记事本的txt文件

    2、利用结巴库

    代码如下:

     1 import jieba
     2 txt = open("jiebatxt.txt","r", encoding = 'GBK').read()  #读取已存好的txt文档
     3 words = jieba.lcut(txt)          #进行分词
     4 counts = {}
     5 for word in words:
     6     if len(word)== 1:            #去掉标点字符和其它单字符
     7         continue
     8     else:
     9         counts[word] = counts.get(word, 0) + 1  #计数
    10 items = list(counts.items())    #把对象对象转化为列表形式,利于下面操作
    11 
    12 #sort()  函数用于对原列表进行排序,如果指定参数,则使用比较函数指定的比较函数
    13 #reverse 排序规则,reverse = True 降序, reverse = False 升序(默认)
    14 #key 是用来比较的参数
    15 
    16 items.sort(key=lambda x: x[1], reverse = True)
    17 for i in range(10):
    18     word, count= items[i]
    19     print("{0:<10}{1:>5}".format(word, count))

    得出结果:

     还有一种就是词云图显示,具体请进入下面链接:

    https://www.cnblogs.com/liyanyinng/p/10652472.html

    可以先看效果:

  • 相关阅读:
    Metasploit学习记录---Nessus安装部署
    网络基础配置--usg系统升级
    Centos6.5部署Rsyslog-日志的存储方式及监测服务状态
    Centos6.5部署Rsyslog+cron+rsync备份服务器
    网络基础配置--开启SSH,关闭Telnet
    Centos6.5部署Rsyslog+LogAnalyzer中文乱码解决
    Centos6.5部署Rsyslog+LogAnalyzer收集网络及系统日志
    CactiEZ安装与配置-监控网卡流量
    Storyboard 按照比例布局
    (Swift) UIImagePickerController照片选择器UIImagePickerControllerReferenceURL的问题
  • 原文地址:https://www.cnblogs.com/liyanyinng/p/10958791.html
Copyright © 2011-2022 走看看