zoukankan      html  css  js  c++  java
  • 综合练习:词频统计

    world = f.read()
    f.close()
    xiaoqu = {'the','and','of','to', 'a', 'on','in','was','his','at','that','as','were','said','by','with', 'we','all','he',}
    depart = ''',.?":!'''  
    for c in depart:
        world = world.replace(c,' ')
    wordlist = world.lower().split() 
    wordDict = {}  
    wordSet = set(wordlist) - xiaoqu
    for a in wordSet:
        wordDict[a] = wordlist.count(a)
        dictlist = list(wordDict.items())
        dictlist.sort(key=lambda x:x[1], reverse=True)
    for i in range(20):  
     print(dictlist[i])
    

     运行结果

     

    2.中文词频统计

    下载一长篇中文文章。

    从文件读取待分析文本。

    news = open('gzccnews.txt','r',encoding = 'utf-8')

    安装与使用jieba进行中文分词。

    pip install jieba

    import jieba

    list(jieba.lcut(news))

    生成词频统计

    排序

    排除语法型词汇,代词、冠词、连词

    输出词频最大TOP20(或把结果存放到文件里)

    # -*- codding: UTF-8 -*-
    # -*- author: WF -*-
    import jieba
    
    f = open('hongloumeng.txt','r',encoding='utf-8')   #将文本放在同等的路径下,以文件的方式读出来
    hongloumeng = f.read()
    f.close()
    
    depart = '''?":“。”.!'《》'''  #用循环列表,用空格来代替,.?":!标点符号
    for c in depart:
        hongloumeng = hongloumeng.replace(c,' ')
    
    hongloumenglist = list(jieba.cut(hongloumeng))
    
    paichu = [' ','了','的','我','
    ','他','道', '你','也','是','又','着','去','来', '在','都','不',
             '虽','为','却','那','亦','之','将','这','便','则','只','但','乃','再','因','得','此','与']
    
    hongloumengDict = {}  #生成一个空字典
    for a in hongloumenglist:
        hongloumengDict[a] = hongloumengDict.get(a,0)+1
    
    for a in paichu:
        del (hongloumengDict[a]);
    
    dictlist = list(hongloumengDict.items())
    dictlist.sort(key=lambda x:x[1], reverse=True)
    
    f = open('hongloumengcount.txt','a')
    for i in range(20):  # 输出前20个
        f.write(dictlist[i][0]+" "+str(dictlist[i][1])+'
    ')
    f.close()
    

      

  • 相关阅读:
    高德地图iOS SDK限制地图的缩放比例
    c++如何遍历删除map/vector里面的元素
    cocos2d-x与UIKit混合编程实现半透明效果
    cocos2d-x中的坑
    [redis]-redis查看key的大小(方法一在centos亲测通过)
    openssl 从cer文件中提取公钥
    SSL证书去除rsa私钥密码保护(.pem)
    RHEL8 CentOS8 下安装 MySQL 8.0<亲测>
    centos7+nginx使用Certbot让网站拥有https
    idea将javaweb项目部署到tomcat
  • 原文地址:https://www.cnblogs.com/qq2647409627/p/8658320.html
Copyright © 2011-2022 走看看