2020软工实践第一次个人编程作业

这个作业属于哪个课程	https://edu.cnblogs.com/campus/fzu/SE2020
这个作业要求在哪里	https://edu.cnblogs.com/campus/fzu/SE2020/homework/11167
这个作业的目标	github使用，json解析，arg解析，测试项目，性能优化分析
学号	031802513

一、PSP表格

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划	60	70
Estimate	估计这个任务需要多少时间	150	180
Development	开发	100	150
Analysis	需求分析 (包括学习新技术)	250	300
Design Spec	生成设计文档	25	30
Design Review	设计复审	15	70
Coding Standard	代码规范 (为目前的开发制定合适的规范)	10	20
Design	具体设计	50	80
Coding	具体编码	25	70
Code Review	代码复审	50	130
Test	测试（自我测试，修改代码，提交修改）	30	50
Reporting	报告	25	50
Test Report	测试报告	10	20
Size Measurement	计算工作量	5	20
Postmortem & Process Improvement Plan	事后总结, 并提出过程改进计划	5	20
合计		810	1260

二、解题过程

分析需求：

python 读取文件夹内的所有文件，解析json，统计json字段 ，python 命令行参数 ， 单元测试
json解析用python自带json库，json.loads(json字符串)，命令行参数用argparse库，单元测试用unittest库
json库 https://www.runoob.com/python/python-json.html
argparse库 https://www.cnblogs.com/cuhm/p/10643765.html
unittest库 https://www.cnblogs.com/lsdb/p/10444943.html

三、实现过程、流程图

四、代码说明

命令行参数注册

    def initArgparse(self):
        # 初始化Arg
        self.parser = argparse.ArgumentParser()
        self.parser.add_argument('-i', '--init')
        self.parser.add_argument('-u', '--user')
        self.parser.add_argument('-r', '--repo')
        self.parser.add_argument('-e', '--event')

#根据参数执行
        if self.parser.parse_args().init:

读取目录下所有文件

        for root, dic, files in os.walk(Address): #获取文件夹内所有文件
            for file in files:
                if file[-5:] == '.json': #筛选后缀为.json的文件
                    findFile=True
                    json_path = file
                    filedir = open(Address+'\'+json_path,
                             'r', encoding='utf-8')

                    while True:  #对单个文件逐行读取
                        line = filedir.readline()
                        if line :
                            if line.strip() == '':  # 如果读到的是空行
                                continue  # 跳过该行
                            jsondata=json.loads(line)
                            if not jsondata["type"] in ['PushEvent', 'IssueCommentEvent', 'IssuesEvent', 'PullRequestEvent']: #筛选事件
                                continue # 跳过无关事件
                            self.addEvent(jsondata)# 统计事件数量
                        else:
                            break

                    filedir.close()

分析json，统计

        if not jsondata["actor"]["login"] in self.__User.keys():
            self.__User[jsondata["actor"]["login"]] = {'PushEvent': 0, 'IssueCommentEvent': 0, 'IssuesEvent': 0,
                      'PullRequestEvent': 0}
        if not jsondata["repo"]["name"] in self.__Repo.keys():
            self.__Repo[jsondata["repo"]["name"]] = {'PushEvent': 0, 'IssueCommentEvent': 0, 'IssuesEvent': 0,
                      'PullRequestEvent': 0}

        if not jsondata["actor"]["login"] in self.__UserAndRepo.keys():
            self.__UserAndRepo[jsondata["actor"]["login"]] = {}
            self.__UserAndRepo[jsondata["actor"]["login"]][jsondata["repo"]["name"]] ={'PushEvent': 0, 'IssueCommentEvent': 0, 'IssuesEvent': 0,
                      'PullRequestEvent': 0}
        elif not jsondata["repo"]["name"] in self.__UserAndRepo[jsondata["actor"]["login"]].keys():
            self.__UserAndRepo[jsondata["actor"]["login"]][jsondata["repo"]["name"]] = {'PushEvent': 0, 'IssueCommentEvent': 0, 'IssuesEvent': 0,
                      'PullRequestEvent': 0}
        self.__User[jsondata["actor"]["login"]][jsondata['type']] += 1
        self.__Repo[jsondata["repo"]["name"]][jsondata['type']] += 1
        self.__UserAndRepo[jsondata["actor"]["login"]][jsondata["repo"]["name"]][jsondata['type']] += 1

查询

    def getEventsByUsersAndRepos(self, username: str, reponame: str, event: str) -> int:
        #通过用户名和仓库名获取事件数量
        if not self.__User.get(username,0):
            return 0
        elif not self.__UserAndRepo[username].get(reponame,0):
            return 0
        else:
            return self.__UserAndRepo[username][reponame].get(event,0)

五、单元测试

测试了预处理、读取预处理文件以及三种查询
覆盖率72%，主要是命令行参数处理部分未测试到，执行时间1.217s

六、性能优化

考虑到可能具有多文件读取，因此增加多线程功能来同时读取多个文件。引用了python的concurrent.futures库
参考资料https://www.cnblogs.com/zhang293/p/7954353.html

经过多次测试，发现性能并未提升，反而有所下降。经查询，python的多线程因GIL全局解释器锁的原因，在计算密集型任务中效果甚微，更适合用在io密集型任务中

七. 代码规范链接

https://github.com/qewpqewp/2020-personal-python/blob/master/codestyle.md

八、总结

此次作业选择使用python的原因是对于python的代码量不如其他两种语言，希望能借此提高自己python水平。
收获最大的是关于python的多线程的应用，虽然最终没有起到作用。