计算与软件工程第四次作业

这个作业要求在哪里	https://edu.cnblogs.com/campus/jssf/infor_computation17-31/homework/10534
我在这个课程的目标是	了解学习软件工程相关知识、应用，为以后打下基础。
此作业在哪个具体方面帮我实现目标	学会代码复审和结对编程
其他参考文献	https://www.cnblogs.com/xinz/archive/2011/11/20/2255971.html https://www.cnblogs.com/xinz/archive/2011/08/07/2130332.htmlintro_zh_CN.html https://www.cnblogs.com/-1307/p/6529269.html https://pypi.org/project/matplotlib/#files https://www.cnblogs.com/Sabre/p/8007034.html

作业正文|https://i-beta.cnblogs.com/posts/edit;postId=12431633

作业1

每个人针对之前两次作业所写的代码，请按照代码规范（风格规范、设计规范）要求评判其他学生的程序，同时进行代码复审（按照代码复审核表 https://www.cnblogs.com/xinz/archive/2011/11/20/2255971.html），要求评价数目不少于8。
对代码复审的博客链接：https://www.cnblogs.com/chenyu666/p/12609752.html

作业2 结对编程

1人物统计程序

参考结对编程的方法、过程（https://www.cnblogs.com/xinz/archive/2011/08/07/2130332.html）开展两人合作完成本项目
实现一个简单而完整的软件工具（中文文本文件人物统计程序）：针对小说《红楼梦》要求能分析得出各个人物在每一个章回中各自出现的次数。
队友结对编程链接：https://www.cnblogs.com/li-lingling/p/12620082.html

此代码中利用到的函数：

（1）Readtxt(filename)：读取文件，文件名是由用户输入，本函数需要对文件存在与否进行判断和处理，如果存在则返回读取的文本内容，否则提示“检查文件是否存在”，并返回读取内容为空。
（2）Txtcut(txt)：功能是分词并生成结果字典（单词：数量）counts
（3）word_exclude(counts,excludes):功能是对分词结果字典进行数据清洗（排除干扰单词）和排序。其中参数counts为Txtcut(txt)分词结果字典，excludes为用户自己设置的排除内容。
（4）word_out(items,num)：功能是输出用户希望看到的统计人物数量情况。其中参数items是函数word_exclude(counts,excludes)的处理结果，num是用户输入的数量程序

利用Python编程要注意：

（1）下载jieba：下载放到Python文件夹中。
（2）下载可以进行图表的软件：matplotlib,利用cmd下载失败，则用网站下载。注意找到合适的matplotlib版本，[下载指南]https://www.cnblogs.com/Sabre/p/8007034.html

（3）建立new file,命名并run,即可得到关于词频统计的柱状图。

import jieba
excludes = {"什么","一个","我们","那里","你们","如今","说道","知道","起来","姑娘","这里","出来","他们","众人","自己",
            "一面","只见","怎么","奶奶","两个","没有","不是","不知","这个","听见","这样","进来","咱们","告诉","就是",
            "东西","袭人","回来","只是","大家","只得","老爷","丫头","这些","不敢","出去","所以","不过","的话","不好",
            "姐姐","探春","鸳鸯","一时","不能","过来","心里","如此","今日","银子","几个","答应","二人","还有","只管",
            "这么","说话","一回","那边","这话","外头","打发","自然","今儿","罢了","屋里","那些","听说","小丫头","不用","如何"}
'''
这些是一些干扰词汇，先列出，之后把这些词删除
'''
txt = open("shz.txt","r",encoding='utf-8').read()
'''
不写明路径的话，默认和保存的python文件在同一目录下 注意打开格式是utf-8，这个可以打开txt文件，选择另存为，注意界面右下角的格式
'''
words = jieba.lcut(txt)
'''
利用jieba库将红楼梦的所有语句分成词汇
'''
counts = {}
'''
创建的一个空的字典
'''
for word in words:
    if len(word) == 1:      #如果长度是一，可能是语气词之类的，应该删除掉
        continue
    else:         counts[word] = counts.get(word,0) + 1
    '''
    如果字典中没有这个健（名字）则创建，如果有这个健那么就给他的计数加一
    [姓名:数量]，这里是数量加一
    '''
for word in excludes:			
    del(counts[word])
    '''
    #这一步：如果列出的干扰词汇在分完词后的所有词汇中那么删除
    '''
items = list(counts.items())
'''
把保存[姓名：个数]的字典转换成列表
'''
items.sort(key=lambda x:x[1],reverse = True)
'''
对上述列表进行排序，'True'是降序排列
'''
for i in range(20):
    word,count = items[i]
    print("{0:<10}{1:>5}".format(word,count)) 
'''
这里是打印前二十个
因为列表也是[姓名：个数]
word就是保存姓名的变量
count就是保存个数的变量
'''    

import jieba
from collections import Counter
import matplotlib.pyplot as plt
import numpy as np


class HlmNameCount():
    # 此函数用于绘制条形图
    def showNameBar(self,name_list_sort,name_list_count):
        # x代表条形数量
        x = np.arange(len(name_list_sort))
        # 处理中文乱码
        plt.rcParams['font.sans-serif'] = ['SimHei']
        # 绘制条形图，bars相当于句柄
        bars = plt.bar(x,name_list_count)
        # 给各条形打上标签
        plt.xticks(x,name_list_sort)
        # 显示各条形具体数量
        i = 0
        for bar in bars:
            plt.text((bar.get_x() + bar.get_width() / 2), bar.get_height(), '%d' % name_list_count[i], ha='center', va='bottom')
            i += 1
        # 显示图形
        plt.show()

    # 此函数用于绘制饼状图
    def showNamePie(self, name_list_sort, name_list_fracs):
        # 处理中文乱码
        plt.rcParams['font.sans-serif'] = ['SimHei']
        # 绘制饼状图
        plt.pie(name_list_fracs, labels=name_list_sort, autopct='%1.2f%%', shadow=True)
        # 显示图形
        plt.show()

    def getNameTimesSort(self,name_list,txt_path):
        # 将所有人名临时添加到jieba所用字典，以使jieba能识别所有人名
        for k in name_list:
            jieba.add_word(k)
        # 打开并读取txt文件
        file_obj = open(txt_path, 'rb').read()
        # jieba分词
        jieba_cut = jieba.cut(file_obj)
        # Counter重新组装以方便读取
        book_counter = Counter(jieba_cut)
        # 人名列表，因为要处理凤姐所以不直接用name_list
        name_dict ={}
        # 人名出现的总次数，用于后边计算百分比
        name_total_count = 0
        for k in name_list:
            if k == '熙凤':
                # 将熙凤出现的次数合并到凤姐
                name_dict['凤姐'] += book_counter[k]
            else:
                name_dict[k] = book_counter[k]
            name_total_count += book_counter[k]
        # Counter重新组装以使用most_common排序
        name_counter = Counter(name_dict)
        # 按出现次数排序后的人名列表
        name_list_sort = []
        # 按出现次数排序后的人名百分比列表
        name_list_fracs = []
        # 按出现次数排序后的人名次数列表
        name_list_count = []
        for k,v in name_counter.most_common():
            name_list_sort.append(k)
            name_list_fracs.append(round(v/name_total_count,2)*100)
            name_list_count.append(v)
            # print(k+':'+str(v))
        # 绘制条形图
        self.showNameBar(name_list_sort, name_list_count)
        # 绘制饼状图
        self.showNamePie(name_list_sort,name_list_fracs)
        

if __name__ == '__main__':
    # 参与统计的人名列表，可修改成自己想要的列表
    name_list = ['宝玉', '黛玉', '宝钗', '元春', '探春', '湘云', '妙玉', '迎春', '惜春', '凤姐', '熙凤', '巧姐', '李纨', '可卿', '贾母', '贾珍', '贾蓉', '贾赦', '贾政', '王夫人', '贾琏', '薛蟠', '香菱', '宝琴', '袭人', '晴雯', '平儿', '紫鹃', '莺儿']
    # 红楼梦txt文件所在路径，修改成自己文件所在路径
    txt_path = 'C:/Users/hp/Desktop/hl.txt'
    hnc = HlmNameCount()
    hnc.getNameTimesSort(name_list,txt_path)

4.使用源代码管理系统Gitee

5.针对上述形成的软件程序，对于新的文本小说分析各个章节人物出现次数，用图表来表现。

相关文本的单元测试、效能测试：

单元测试

import unittest
from ceshi import *
class MyTestCase(unittest.TestCase):
    def setUp(self):
        print("测试开始")
    def test_something(self):
        name_list = ['熙凤', '黛玉', '宝钗', '探春', '湘云', '迎春', '元春', '惜春', '妙玉', '巧姐', '李纨', '可卿']
        txt_path = 'hl.txt'
        name_list_count = [1149, 953, 696, 448, 393, 146, 126, 105, 81, 40, 36, 14]
        items = list()
        for i in range(12):
            items.append([name_list[i], name_list_count[i]])
        self.assertEqual(items, NameCount().getNameTimesSort(name_list,txt_path))
    def tearDown(self):
        print("测试结束")
if __name__ == '__main__':
    unittest.main()

效能测试

效能测试
if name == "main":
import cProfile
import pstats
cProfile.run("main()", "result")
# 直接把分析结果打印到控制台
p = pstats.Stats("result") # 创建Stats对象
p.strip_dirs().sort_stats("call").print_stats() # 按照调用的次数排序
p.strip_dirs().sort_stats("cumulative").print_stats() # 按执行时间次数排序
p.print_callers(0.5, "process_file") # 如果想知道有哪些函数调用了process_file,小数,表示前百分之几的函数信息
p.print_callers(0.5, "process_buffer") # 如果想知道有哪些函数调用了process_buffer
p.print_callers(0.5, "output_result") # 如果想知道有哪些函数调用了output_res

# 水浒传人物统计
import jieba
import csv
import pstats
import profile
class NameCount():
     def getNameTimesSort(self, name_list, txt_path):
         # 添加jieba分词
        mydict = ['及时雨','黑旋风','行者','豹子头','花和尚','智多星','玉麒麟','小旋风','小李广','九纹龙','青面兽','母大虫','母夜叉','王教头','扈三娘','陆虞候']
        for item in mydict:
            jieba.add_word(item)
        #打开并读取txt文件
        txt = open('shz.txt','r',encoding='utf-8').read()
         # 定义别名列表
        bieming = [['及时雨','宋江','呼保义','孝义黑三郎','宋公明','宋押司'],['黑旋风','李逵','铁牛'],['武松','武二郎','行者','武行者','武都头'],['豹子头','林冲','林教头'],
                   [ '鲁提辖' ,'鲁达','智深','花和尚','鲁智深'],['智多星','吴用','吴学究','吴加亮','赛诸葛','加亮先生'],['卢俊义','玉麒麟','卢员外'],[ '小旋风','柴进'],
                   ['花荣','小李广'],['九纹龙','史进'],['杨志','杨制使','杨提辖','青面兽'],['顾大嫂','母大虫'],['孙二娘','母夜叉'],['王进','王教头'],['扈三娘','一丈青'],['陆虞候','陆谦']]
        words = jieba.lcut(txt)
        counts = {}
        for word in words:
            if len(word) == 1:
                continue
            else:
                counts[word] = counts.get(word, 0) + 1
        # 计算出场次数（各个别名的合计次数）
        lst = list()
        for i in range(16):
            lt = 0
            for item in bieming[i]:
                lt += counts.get(item, 0)
            lst.append(lt)
        items = list()
        for i in range(16):
            items.append([name_list[i], lst[i]])
        items.sort(key=lambda x: x[1], reverse=True)
        f = open('水浒传人物统计.csv', 'w', newline='', encoding='utf-8')
        csv_writer = csv.writer(f)
        csv_writer.writerow(['水浒传人物统计'])
        csv_writer.writerow(["姓名", "出现次数"])
        for i in range(16):
            word, count = items[i]
            csv_writer.writerow([word, count])
            print("{0:<10}{1:>5}".format(word, count))
        f.close()      
        return items
if __name__ == '__main__':

    # 参与统计的人名列表，可修改成自己想要的列表
    name_list = ['宋江','李逵','武松','林冲','鲁智深','吴用','卢俊义','柴进','花荣','史进','杨志','顾大嫂','孙二娘','王进','扈三娘','陆谦']
    # txt文件所在路径
    txt_path = 'shz.txt'
    NameCount().getNameTimesSort(name_list,txt_path)
    print("效能测试：")
    profile.run('NameCount()', 'result')
    # 直接把分析结果打印到控制台
    p = pstats.Stats('result')  # 创建Stats对象
    p.strip_dirs().sort_stats("call").print_stats()  # 按照调用的次数排序
    p.strip_dirs().sort_stats("cumulative").print_stats()  # 按执行时间次数排序