python 结巴分词简介以及操作

中文分词库：结巴分词

文档地址：https://github.com/fxsjy/jieba

代码对 Python 2/3 均兼容

• 全自动安装：easy_install jieba 或者 pip install jieba / pip3 install jieba
• 半自动安装：先下载 http://pypi.python.org/pypi/jieba/ ，解压后运行 python setup.py install
• 手动安装：将 jieba 目录放置于当前目录或者 site-packages 目录
• 通过 import jieba 来引用

 

 

 

import jieba

from jieba import analyse

 

seg_list = jieba.cut("我来到北京清华大学", cut_all=True)

print("Full Mode: " + "/ ".join(seg_list))  # 全模式

 

seg_list = jieba.cut("我来到北京清华大学", cut_all=False)

print("Default Mode: " + "/ ".join(seg_list))  # 精确模式

 

seg_list = jieba.cut("他来到了网易杭研大厦")  # 默认是精确模式

print(", ".join(seg_list))

 

seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所，后在日本京都大学深造")  # 搜索引擎模式

print(", ".join(seg_list))

 

 

def get_word():

    # 引入TextRank关键词抽取接口

    textrank = analyse.textrank

   

    # 原始文本

    text = "线程是程序执行时的最小单位，它是进程的一个执行流，

            是CPU调度和分派的基本单位，一个进程可以由很多个线程组成，

            线程间共享进程的所有资源，每个线程有自己的堆栈和局部变量。

            线程由CPU独立调度执行，在多CPU环境下就允许多个线程同时运行。

            同样多线程也可以实现并发操作，每个请求分配一个线程来处理。"

   

    # 基于TextRank算法进行关键词抽取

    keywords = textrank(text)

    # 输出抽取出的关键词

    for keyword in keywords:

        print(keyword + "/")

 

if __name__ == "__main__":

    get_word()