综合练习：词频统计

综合练习

词频统计预处理

下载一首英文的歌词或文章

将所有,.？！’:等分隔符全部替换为空格

将所有大写转换为小写

生成单词列表

生成词频统计

排序

排除语法型词汇，代词、冠词、连词

输出词频最大TOP20

将分析对象存为utf-8编码的文件，通过文件读取的方式获得词频分析内容。

fo=open('test.txt','r')
str=fo.read()
fo.close()

rap=''',?!'''
exculde={'the','one','i','to','is','so','and','how','me'}
for c in rap:
    str=str.replace(c," ")
wordList=str.lower().split()

wordDict={}

wordSet=set(wordList)
for c in wordList:
    wordDict[c]=wordList.count(c)


for i in exculde:
    wordDict.pop(i)

dictList = list(wordDict.items())
dictList.sort(key= lambda x:x[1],reverse=True)


for i in range(10):
    print(dictList[i])