软工实践第一次个人编程作业

这个作业属于哪个课程	http://dwz.date/cts4
这个作业要求在哪里	https://edu.cnblogs.com/campus/fzu/SE2020/homework/11167
这个作业的目标	解析json 熟悉命令行操作 规范编程习惯 学习测试项目 github使用
学号	031802516
语言	python

PSP 表格

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划	60	90
Estimate	估计这个任务需要多少时间	10	20
Development	开发
Analysis	需求分析 (包括学习新技术)	40	60
Design Spec	生成设计文档	15	15
Design Review	设计复审	10	10
Coding Standard	代码规范 (为目前的开发制定合适的规范)	10	10
Design	具体设计	40	40
Coding	具体编码	500	300
Code Review	代码复审	100	60
Test	测试（自我测试，修改代码，提交修改）	100	200
Reporting	报告	40	30
Test Report	测试报告	30	20
Size Measurement	计算工作量	15	15
Postmortem & Process Improvement Plan	事后总结, 并提出过程改进计划	60	90
合计		1030	960

解题思路

刚开始看到题目的时候有点懵，看到控制台命令有点不知所措，在舍友的示范下很快就明白了。多次阅读题目后就有了比较清晰的思路，其实这题就是解析 json。但是由于要处理的数据量很大，所有要在初次访问的时候就把数据保存在本地起到缓存作用，并且在读文件时也采用readline() 防止内存炸掉。然后就开始复习了 json 的格式、python里一些数据结构之间的转换以及正则表达式的规则，解析完json就是完成了内核的，但是要编写命令提供交互，然后又去查询了有关py命令行参数编写的方法。

设计实现过程

代码组织

抓住这个编程题的核心就是解析json， 于是就先编写解析一个json文件的函数JsonAnalyse() 提取有用的信息， 在把JsonAnalyse 函数装进另一个寻找json文件的函数AnalyseAll()，实现对目标目录下所有的json文件的解析。把这些函数和相关的数据分装在类 Data里，在初始化init 的时候调用这些函数，解析并把所的数据以json的格式(解析采用 正则表达式 )存在本地，在后续的查询时直接调用本地文件，起到缓存的作用，最后再编写下命令行接口就好了。

核心代码init函数流程图：

代码说明

思路

先编写好解析一个json文件的函数，把要用的信息提取（采用正则表达式法 ）出来并保存在类里定义的变量里，再把这个函数装进一个搜索文件夹中存在.json文件的函数就形成了一个解析一个文件夹的函数，最后配合一个把数据保存本地的函数，在初始化（构造）结束时就完成了所有解析。二次访问的时候就是把保存的文件提取出来，进行查询操作（查询函数过于简单就不再贴出来了，本质就是 json 和 dict 之间的转换）。整体上来说就是从核心突破，化繁为简，完成核心功能函数再一步步拓展，就可以完成整个的项目。

TotalAnalyse 函数

def TotalAnalyse(self,addr:str):#解析文件夹中的所有json
        for root, dic, files in os.walk(addr):
            for f in files:
                if f[-5:] == ".json":
                    jsonPath = f
                    self.JsonAnalyse(addr, jsonPath)        

 

JsonAnalyse 函数

    def JsonAnalyse(self, addr:str,jPath:str):#单个json解析函数
        f = open(addr + '\' + jPath, 'r', encoding='utf-8')
        try:
            while True:
                stmp = f.readline()
                if stmp:
                    pattern = re.compile('"login":".*?",')
                    res=pattern.search(stmp).group(0)
                    rkey1 = res[9:-2]

                    pattern = re.compile('"name":".*?",')
                    res = pattern.search(stmp).group(0)
                    rkey2 = res[8:-2]

                    pattern = re.compile('"type":".*?",')
                    res = pattern.search(stmp).group(0)
                    rkey3 = res[8:-2]

                    if not rkey3 in ['PushEvent','IssueCommentEvent',
                                            'IssuesEvent','PullRequestEvent']:
                        continue
                    if not rkey1 in self.uEvent.keys():
                        event = {'PushEvent':0,'IssueCommentEvent':0,
                                 'IssuesEvent':0,'PullRequestEvent':0}
                        self.uEvent[rkey1] = event

                    if not rkey2 in self.rEvent.keys():
                        event = {'PushEvent':0,'IssueCommentEvent':0,
                                 'IssuesEvent':0,'PullRequestEvent':0}
                        self.rEvent[rkey2] = event

                    if not rkey1+'&'+rkey2 in self.urEvent.keys():
                        event = {'PushEvent': 0, 'IssueCommentEvent': 0,
                                 'IssuesEvent': 0, 'PullRequestEvent': 0}
                        self.urEvent[rkey1 + '&' + rkey2] = event
                    self.uEvent[rkey1][rkey3] += 1
                    self.rEvent[rkey2][rkey3] += 1
                    self.urEvent[rkey1 + '&' + rkey2][rkey3] += 1
                else:
                    break
        except:
            pass
        finally:
            f.close()

SaveToLocal 函数

def SaveToLocal(self):
        try:
            with open('user.json', 'w', encoding = 'utf-8') as f:
                json.dump(self.uEvent, f)
            with open('repo.json', 'w', encoding = 'utf-8') as f:
                json.dump(self.rEvent, f)
            with open('userepo.json', 'w', encoding = 'utf-8') as f:
                json.dump(self.urEvent, f)
        except:
            raise RuntimeError("save error")
        finally:
            f.close()    

单元测试截图和描述

单元测试概述

分别对Data类测试初始化（包含了json 的读取、解析以及写入)、 三个查询（QueryByUser，QueryByRepo，QueryByUserAndRepo），在.json 文件插入几条特定的数据，在测试中采用断言的方式来判断是否成功完成对应的操作。一共4个test函数全部通过。

单元测试代码截图

单元测试运行截图

单元测试覆盖率

单元测试覆盖率优化和性能测试

性能测试提升

由于python 鸡肋的多线程，导致性能提升胎死腹中，不得不感叹一句 java 才是永远的神。
既然无法在多线程下手，就要从解析单个json突破。原来解析json模式为 读取文件->字符串->json -> json读取，改成了读取文件->字符串->正则表达式 模式。不仅可以加快索引的时间，也可以省区 str 与 dict 转换的时间。 经测试，在读取141MB文件时新模式用时1.29s，而旧模式用时2.19s ；在读取 1 GB 文件的情况下 新模式用时 5.36s 而旧模式用时 13.07s；可知，新模式的性能相对与旧模式提升了60%以上，并且读取的文件越大提升的性能就会越显著。在10GB 文件下，程序测试仍然会运行91.75s, 还是不没有达到理想要求。
值得一提的是，助教提供的程序有很多重复的json值访问，只要把这些值先预存起来也可以在一定程度上提高程序的性能。

• 旧模式 VS 新模式（141MB文件）
  
  
• 旧模式 VS 新模式（1GB文件）
  
  

性能测试截图

代码规范的链接

https://github.com/jieblue/2020-personal-python/blob/master/codestyle.md

总结

这次作业代码的两个核心内容解析json 和命令行参数编写，由于以前有做过解析json的作业，所以没有碰到太大的问题，命令行参数编写是第一次碰到，有去查阅资料，也参考了助教提供的模板，最后编写成功。还有也是第一册接触到单元测试和性能测试，也是查阅了一些资料（游走于csdn 和 cnblog之间）才完成这些测试。这次作业学到了很多新的知识，也复习了以前学的一些知识，收获很多。