zoukankan      html  css  js  c++  java
  • python 结巴分词简介以及操作

    中文分词库:结巴分词

    文档地址:https://github.com/fxsjy/jieba

    代码对 Python 2/3 均兼容

    • 全自动安装:easy_install jieba 或者 pip install jieba / pip3 install jieba
    • 半自动安装:先下载 http://pypi.python.org/pypi/jieba/ ,解压后运行 python setup.py install
    • 手动安装:将 jieba 目录放置于当前目录或者 site-packages 目录
    • 通过 import jieba 来引用

     

     

     

    import jieba

    from jieba import analyse

     

    seg_list = jieba.cut("我来到北京清华大学", cut_all=True)

    print("Full Mode: " + "/ ".join(seg_list))  # 全模式

     

    seg_list = jieba.cut("我来到北京清华大学", cut_all=False)

    print("Default Mode: " + "/ ".join(seg_list))  # 精确模式

     

    seg_list = jieba.cut("他来到了网易杭研大厦")  # 默认是精确模式

    print(", ".join(seg_list))

     

    seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所,后在日本京都大学深造")  # 搜索引擎模式

    print(", ".join(seg_list))

     

     

    def get_word():

        # 引入TextRank关键词抽取接口

        textrank = analyse.textrank

       

        # 原始文本

        text = "线程是程序执行时的最小单位,它是进程的一个执行流,

                是CPU调度和分派的基本单位,一个进程可以由很多个线程组成,

                线程间共享进程的所有资源,每个线程有自己的堆栈和局部变量。

                线程由CPU独立调度执行,在多CPU环境下就允许多个线程同时运行。

                同样多线程也可以实现并发操作,每个请求分配一个线程来处理。"

       

        # 基于TextRank算法进行关键词抽取

        keywords = textrank(text)

        # 输出抽取出的关键词

        for keyword in keywords:

            print(keyword + "/")

     

    if __name__ == "__main__":

        get_word()

  • 相关阅读:
    python:HTML转义
    Python 安装 MySQLdb
    C# 获取当前路径方法
    配置 vim Python IDE 开发环境
    python:HTML转义
    Python list去重
    源码探秘
    加号的作用
    多态练习
    在web service用Cache要导入System.Web.HttpRuntime
  • 原文地址:https://www.cnblogs.com/weifeng-888/p/10792921.html
Copyright © 2011-2022 走看看