jiagu-工具使用

比较好的一套处理工具吧，感谢作者，原文地址：https://github.com/ownthink/Jiagu

练习一下使用

"""
    Funciton: jiagu测试
    Author: dyx
    DateTime: 20191021
"""
import jiagu


# 分词，词性标注，命名实体模块
def model_01():
    text = '厦门市美亚柏科信息股份有限公司，邓叶勋任自然语言处理算法工程师一职'
    jieba_words = jiagu.seg(text)
    print(jieba_words)
    words = jiagu.seg(text)
    print(words)
    pos = jiagu.pos(words)
    print(pos)
    ner = jiagu.ner(text)
    print(ner)


# 知识图谱关系抽取
def model_02():
    # text = '吻别是由张学友演唱的一首歌曲'
    text = '新疆大学（Xinjiang University），简称“新大”，位于新疆维吾尔自治区首府乌鲁木齐，是世界一流大学建设高校、全国重点大学'
    knowledge = jiagu.knowledge(text)
    print(knowledge)


# 关键词抽取
def model_03():
    text = '新疆大学（Xinjiang University），简称“新大”，位于新疆维吾尔自治区首府乌鲁木齐，是世界一流大学建设高校、全国重点大学、国家“211工程”重点建设高校、国家西部大开发重点建设高校、中西部高校基础能力建设工程高校、中国政府奖学金来华留学生接收院校、国家建设高水平大学公派研究生项目高校、”卓越工程师教育培养计划“高校、”卓越法律人才教育培养计划“高校、教育部与新疆维吾尔自治区人民政府合作共建高校、中西部“一省一校”国家重点建设大学（Z14）联盟成员、中国—中亚国家大学联盟发起高校、全国深化创新创业教育改革示范高校。'
    keywords = jiagu.keywords(text)
    print(keywords)


# 文本摘要
def model_04():
    text = '新疆大学（Xinjiang University），简称“新大”，位于新疆维吾尔自治区首府乌鲁木齐，是世界一流大学建设高校、全国重点大学、国家“211工程”重点建设高校、国家西部大开发重点建设高校、中西部高校基础能力建设工程高校、中国政府奖学金来华留学生接收院校、国家建设高水平大学公派研究生项目高校、”卓越工程师教育培养计划“高校、”卓越法律人才教育培养计划“高校、教育部与新疆维吾尔自治区人民政府合作共建高校、中西部“一省一校”国家重点建设大学（Z14）联盟成员、中国—中亚国家大学联盟发起高校、全国深化创新创业教育改革示范高校。 新疆大学前身是创办于1924年的新疆俄文法政专门学校。1935年1月改建为新疆学院，1960年10月1日，正式成立新疆大学，1978年被国务院确定为新疆唯一的全国重点大学，1997年被列入国家“211工程”，2000年被确定为国家西部大开发重点建设高校。2000年12月30日，新疆大学与原新疆工学院合并组建新的新疆大学。2004年，学校成为新疆维吾尔自治区人民政府、教育部“区部共建”高校。2017年6月，新疆大学被教育部列入国家“双一流”建设战略布局中42所“世界一流大学”建设之列。2018年，列入“部省合作共建高校”序列。 '
    summarize = jiagu.summarize(text, 1)
    print(summarize)


# 情感分析
def model_05():
    text = '艾略特波浪理论是我的最爱'
    text = '很讨厌还是个懒鬼'
    text = '我喜欢你'
    sentiment = jiagu.sentiment(text)
    print(sentiment)


# 文本聚类
def model_06():
    docs = ['百度深度学习中文情感分析工具Senta试用及在线测试',
            '情感分析是自然语言处理里面一个热门话题',
            'AI Challenger 2018 文本挖掘类竞赛相关解决方案及代码汇总',
            '深度学习实践：从零开始做电影评论文本情感分析',
            'BERT相关论文、文章和代码资源汇总',
            '将不同长度的句子用BERT预训练模型编码，映射到一个固定长度的向量上',
            '自然语言处理工具包spaCy介绍',
            '现在可以快速测试一下spaCy的相关功能，我们以英文数据为例，spaCy目前主要支持英文和德文']
    cluster = jiagu.text_cluster(docs)
    print(cluster)
    
    
if __name__ == '__main__':
    
    model_01()
    model_02()
    model_03()
    model_04()
    model_05()
    model_06()