zoukankan      html  css  js  c++  java
  • 中文词频统计与词云生成

    作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2822

    中文词频统计

    1. 下载一长篇中文小说。

    下载了斗破苍穹。

    2. 从文件读取待分析文本。

    doupo = open('111.txt','r',encoding='utf-8').read()

    3. 安装并使用jieba进行中文分词。

    pip install jieba

    import jieba

    jieba.lcut(text)

    4. 更新词库,加入所分析对象的专业词汇。

    jieba.add_word('天罡北斗阵')  #逐个添加

    jieba.load_userdict(word_dict)  #词库文本文件

    参考词库下载地址:https://pinyin.sogou.com/dict/

    转换代码:scel_to_text

    5. 生成词频统计

    import jieba
    xiyouji = open('dp.txt', 'r', encoding='utf-8').read()
    tichu = open('scel_to_text.txt', 'r', encoding='utf-8').read()
    stops = tichu.split()
    
    wordsls = jieba.lcut(xiyouji)
    tokens = [token for token in wordsls if token not in stops]
    print(len(wordsls), len(tokens))
    wcdict = {}
    for word in tokens:
        if len(word) == 1:
            continue
        else:
            wcdict[word] = wcdict.get(word, 0) + 1
    wcls = list(wcdict.items())
    wcls.sort(key=lambda x: x[1], reverse=True)
    for i in range(20):
        print(wcls[i])
    

      

    6. 排序

    7. 排除语法型词汇,代词、冠词、连词等停用词。

    stops

    tokens=[token for token in wordsls if token not in stops]

    8. 输出词频最大TOP20,把结果存放到文件里

    9. 生成词云。

    txt = open('ludingji.csv','r',encoding='utf-8').read()
    ludingjilist = jieba.lcut(txt)
     
     
    wl_spl = "".join(ludingjilist)
    mywc = WordCloud().generate(wl_spl)
     
    plt.imshow(mywc)
    plt.axis("off")
    plt.show()
    

      

  • 相关阅读:
    2017.3.17作业
    2017.3.16作业
    2017.3.15作业
    2017.3.14作业
    2017.3.13作业
    2017.3.10作业
    网站流量日志分析(数据 采集之 Flume 采集)
    网站流量日志分析(模块开发——数据仓库设计)
    日常问题及解决
    可爱的生活
  • 原文地址:https://www.cnblogs.com/hekairui/p/10594423.html
Copyright © 2011-2022 走看看