第一次个人编程作业

第一次编程作业(编辑中)

一、github链接

• 点击查看作业

二、算法流程图

• 如下
  

三、想法和解题思路

• 一开始真的折磨，一点思路没有面向CSDN，踩了很多坑(日记志)。
  看了很多博客也算是了解了jieba分词的原理。
• 伟大的舍友给了很多帮助
• 主要算法就是jieba分词然后用余弦向量算法参考"余弦相似度"
• onehot编码

def one_hot(word_dict, keywords):  
         cut_code = [word_dict[word] for word in keywords]
        cut_code = [0]*len(word_dict)
        for word in keywords:
            cut_code[word_dict[word]] += 1
        return cut_code

def extract_keyword用于提取关键词

    def extract_keyword(content):  
        re_exp = re.compile(r'(<style>.*?</style>)|(<[^>]+>)', re.S)
        content = re_exp.sub(' ', content)
        content = html.unescape(content)
        seg = [i for i in jieba.cut(content, cut_all=True) if i != '']
        # 提取关键词
        keywords = jieba.analyse.extract_tags("|".join(seg), topK=200, withWeight=False)
        return keywords

四、算法示例

计算模块接口部分的性能改进

消耗最大的部分

如图所示，主函数消耗最大，符合预期

性能分析图

计算模块部分单元测试展示

测试结果：

运行之后的结果如下图所示

较为符合预期。

部分测试代码：

if __name__ == '__main__':
    with open('F:/qq/sim_0.8/orig.txt', 'r', encoding="UTF-8") as x1, open('E:/test/qq/sim_0.8/orig_0.8_add.txt', 'r',#
                                                                          encoding="UTF-8") as y1:
        content_x1 = x1.read()
        content_y1 = y1.read()
        similarity = CosineSimilarity(content_x1, content_y1)
        similarity = similarity.main()
        print('相似度: %.2f%%
' % (similarity * 100))
    with open('E:/test/qq/sim_0.8/orig.txt', 'r', encoding="UTF-8") as x2, open('E:/test/qq/sim_0.8/orig_0.8_del.txt', 'r',
                                                                          encoding="UTF-8") as y2:
        content_x2 = x2.read()
        content_y2 = y2.read()
        similarity = CosineSimilarity(content_x2, content_y2)
        similarity = similarity.main()
        print('相似度: %.2f%%
' % (similarity * 100))
    with open('E:/test/qq/sim_0.8/orig.txt', 'r', encoding="UTF-8") as x3, open('E:/tset/qq/sim_0.8/orig_0.8_dis_1.txt', 'r',
                                                                          encoding="UTF-8") as y3:
        content_x3 = x3.read()
        content_y3 = y3.read()
        similarity = CosineSimilarity(content_x3, content_y3)
        similarity = similarity.main()
        print('相似度: %.2f%%
' % (similarity * 100))
    with open('E:/test/qq/sim_0.8/orig.txt', 'r', encoding="UTF-8") as x4, open('E:/test/qq/sim_0.8/orig_0.8_dis_3.txt', 'r',
                                                                               encoding="UTF-8") as y4:
        content_x4 = x4.read()
        content_y4 = y4.read()
        similarity = CosineSimilarity(content_x4, content_y4)
        similarity = similarity.main()
        print('相似度: %.2f%%
' % (similarity * 100))

    with open('E:/test/qq/sim_0.8/orig.txt', 'r', encoding="UTF-8") as x6, open('E:/test/qq/sim_0.8/orig_0.8_dis_7.txt', 'r',
                                                                          encoding="UTF-8") as y6:
        content_x6 = x6.read()
        content_y6 = y6.read()
        similarity = CosineSimilarity(content_x6, content_y6)
        similarity = similarity.main()
        print('相似度: %.2f%%
' % (similarity * 100))
    with open('E:test/qq/sim_0.8/orig.txt', 'r', encoding="UTF-8") as x7, open('E:/test/qq/sim_0.8/orig_0.8_dis_10.txt', 'r',
                                                                          encoding="UTF-8") as y7:
        content_x7 = x7.read()
        content_y7 = y7.read()
        similarity = CosineSimilarity(content_x7, content_y7)
        similarity = similarity.main()
        print('相似度: %.2f%%
' % (similarity * 100))
    with open('E:/test/qq/sim_0.8/orig.txt', 'r', encoding="UTF-8") as x8, open('E:/test/qq/sim_0.8/orig_0.8_dis_15.txt', 'r',
                                                                          encoding="UTF-8") as y8:
        content_x8 = x8.read()
        content_y8 = y8.read()
        similarity = CosineSimilarity(content_x8, content_y8)
        similarity = similarity.main()
        print('相似度: %.2f%%
' % (similarity * 100))
    with open('E:/test/qq/sim_0.8/orig.txt', 'r', encoding="UTF-8") as x9, open('E:/test/qq/sim_0.8/orig_0.8_mix.txt', 'r',
                                                                          encoding="UTF-8") as y9:
        content_x9 = x9.read()
        content_y9 = y9.read()
        similarity = CosineSimilarity(content_x9, content_y9)
        similarity = similarity.main()
        print('相似度: %.2f%%
' % (similarity * 100))
    with open('E:/test/qq/sim_0.8/orig.txt', 'r', encoding="UTF-8") as x0, open('E:/test/qq/sim_0.8/orig_0.8_rep.txt', 'r',
                                                                          encoding="UTF-8") as y0:
        content_x0 = x0.read()
        content_y0 = y0.read()
        similarity = CosineSimilarity(content_x0, content_y0)
        similarity = similarity.main()
        print('相似度: %.2f%%
' % (similarity * 100))

计算模块部分异常处理说明

设计空白对比文档和完全一致的文档

完全不同对比文档的结果：

没有异常。

完全一致文档的结果：

没有异常。

五、 PSP表格如下

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划	30	60
Estimate	估计这个任务需要多少时间	20	20
Development	开发	480	480
Analysis	需求分析 (包括学习新技术)	300	300
Design Spec	生成设计文档	60	30
Design Review	设计复审	30	10
Coding Standard	代码规范 (为目前的开发制定合适的规范)	30	10
Design	具体设计	60	60
Coding	具体编码	300	300
Code Review	代码复审	30	30
Test	测试（自我测试，修改代码，提交修改）	120	90
Reporting	报告	60	80
Test Repor	测试报告	30	20
Size Measurement	计算工作量	30	15
Postmortem & Process Improvement Plan	事后总结, 并提出过程改进计划	40	35
Total	合计	1620	1600

六、问题和思考

我秃了也强了？？

• 第一次做这个实验遇到了很多问题，最早就是用cpp写最大公共子串真的很蠢。
• 读了别人写的Java代码知道了为什么要用余弦向量算法之后再自己实现
• 第二次写用py来写，遇到很多问题，pip的版本问题，库的调用问题，还有找不到加载的程序。
• 很多要求不知道要怎么去完成。也可以说学习到了很多新的东西，github的各种用法就够我学的。求学之路还是任重而道远
• 这个如果搞懂原理好像也不难，主要折磨的地方都是自己没事乱搞，其实本质不会很难，请教了同学明白了很多。编译的问题不会大胆问就行了。代码的话还是一般般，只能做到勉强。这次主要还是体验一下软件的开发流程没有想到还有表格什么的。没有熬夜白天编辑博客嘻嘻~