综合练习：词频统计

联系要求

下载一首英文的歌词或文章

将歌词存入文件中，然后读取出来

将所有,.？！’:等分隔符全部替换为空格

将所有大写转换为小写

生成单词列表

生成词频统计

排序

排除语法型词汇，代词、冠词、连词

输出词频最大TOP20

将分析对象存为utf-8编码的文件，通过文件读取的方式获得词频分析内容。

io=open("test.txt",'r')
news=io.read()
io.close()
strList={'is','the','to','is','it','and','oh','in'}
for item in str1:
    news2=news.replace(item," ").lower().split()
#print(news2)

wordDict={}

wordSet=set(news2) -strList
for w in news2:
    wordDict[w]=news2.count(w)


wordList=list(wordDict.items())
print(wordList)
for item in wordList:
    #print(item)
    pass
wordList.sort(key=lambda x:x[1],reverse=True)
newWordList=wordList[:20]
for i in newWordList:
    print(i)

2.中文词频统计

下载一长篇中文文章。

从文件读取待分析文本。

news = open('gzccnews.txt','r',encoding = 'utf-8')

安装与使用jieba进行中文分词。

pip install jieba

import jieba

list(jieba.lcut(news))

生成词频统计

排序

排除语法型词汇，代词、冠词、连词

输出词频最大TOP20（或把结果存放到文件里）

#!/usr/bin/python
# -*- coding: UTF-8 -*-
import jieba

str1=''''"'''
io=open("test2.txt",'r',encoding='UTF-8')
strList=io.read()
io.close()

print(strList)
wordList =list(jieba.cut(strList))
for item in wordList:
    print(item)
  
   wordList.sort(key=lambda x:x[1],reverse=True)
   newWordList=wordList[:20]
   for i in newWordList:
        print(i)