zoukankan      html  css  js  c++  java
  • 软工个人项目——Word frequency program

    一、工程结构设计

    工程的开发包括以下几个阶段:代码编写,程序优化,测试与调试。

    代码可以从功能上分成下面几个部分:

    1、文件夹中各个部分的遍历及文件格式判断,预计用时2小时

    2、从文件内容中提取出合法的单词,预计用时1小时

    3、simple模式的词频统计,预计用时30分钟

    4、extend模式的词频统计,预计用时1小时

    5、结果排序与输出,预计用时1小时

    在测试与调试部分中,需要设计测试用例,并针对问题进行调试和解决问题,预计用时1.5小时

    程序优化须与程序性能相关,预计用时在3小时。

    二、工程开发实际用时

    1、代码编写阶段

    (1)文件夹遍历及文件格式判断,用时1.5小时

    (2)从文件内容中提取出合法的单词,使用正则表达式,因为对正则表达式掌握不够熟练,用时1.5个小时

    (3)词频统计,将simple模式与extend模式合二为一,使用一个函数实现,共计用时1小时

    (4)排序与输出,用时30分钟

    2、测试调试阶段

    (1)编写测试用例,耗时20分钟

    (2)根据用例进行调试,耗时40分钟。

    3、程序优化阶段

    共计用时3.5个小时

    三、程序优化

          在程序优化方面,共计花费了3.5个小时。因为在优化时需要大量的数据对程序进行测试,于是我从网上获取txt格式的英文小说作为单词来源,对程序进行压力测试。

    image

           图为所使用的文档的参数。

           第一个版本中,我使用C#中的List类型对字典进行存储,通过性能分析,我们得到下图:

    QQ截图20130918020140

           由图片我们可以清楚的看到,运行时间在26.5s,主要性能瓶颈在List.IndexOf函数,和我编写用来进行字符串比较的wordCompare函数。

    性能瓶颈处的代码如下:

    private void countWord(string content)
            {
                Regex r = new Regex("[^A-Za-z0-9][A-Za-z]{4}[A-Za-z0-9]*");
                content = " " + content;
                MatchCollection words = r.Matches(content);
                for (int i = 0; i < words.Count; i++ )
                {
                    
                    string segment = words[i].ToString().Substring(1);
                    //Console.WriteLine(segment);
                    bool p = false;
                    //foreach (word x in wordList)
                    for (int j = 0; j < wordList.Count; j++ )
                    {
                        word x = wordList[j];
                        if (wordCompare(x, segment, mode) == 0)
                        {
                            word a = new word();
                            a.num = x.num + 1;
                            if (wordCompare(x, segment, 2) < 0)
                                a.value = x.value;
                            else
                                a.value = segment;
    
                            wordList.Remove(x);
                            wordList.Add(a);
                            p = true;
                            break;
                        }
                    }
                    if (!p)
                    {
                        word a = new word();
                        a.value = segment;
                        a.num = 1;
                        wordList.Add(a);
                    }
                    
                }
                
            }

           经过反复的查看代码与分析,我并没显示的找到使用IndexOf函数的地方,故我分析,IndexOf函数的使用与List格式密切相关,我个人认为在对wordList进行遍历的时候,程序内部调用了IndexOf函数,造成了大量时间的浪费。于是我想能否使用静态大数组来替换List,使用较为廉价的空间换取性能上的提高。

           于是我将wordList转换成了数组类型,再次进行性能测试,得到不错的结果:

    image

           我们可以清楚的看到,时间从原来的26s缩减到了5s,性能瓶颈也变成了我所编写的字符串比较部分。该段程序如下:

    private int wordCompare(word a, string b, int mode)
            {
                if (mode == 0)
                {
                    string x = a.value.ToUpper();
                    string y = b.ToUpper();
                    if (x.Length != y.Length) return 1;
                    else return string.CompareOrdinal(x, y);
                }
                else if (mode == 1)
                {
                    string x = a.value.ToUpper();
                    string y = b.ToUpper();
                    int l = (x.Length < y.Length) ? x.Length : y.Length;
                    string z = (x.Length < y.Length) ? y : x;
                    bool pan = true;
                    for (int i = 0; i < l; i++)
                    {
                        char p = x[i];
                        char q = y[i];
                        if (p != q)
                            if (char.IsLetter(p) || char.IsLetter(q))
                            {
                                pan = false;
                                break;
                            }
                    }
                    for (int i = l; i < z.Length; i++)
                    {
                        char p = z[i];
                        if (char.IsLetter(p))
                            pan = false;
                    }
                    if (pan) return 0;
                    else return 1;
                }
                else
                {
                    return string.CompareOrdinal(a.value, b);
                }
            }

    程序中,mode=1代表simple模式,mode=2代表extend模式,其时间消耗为O(n),但因其比较次数过多,故时间消耗过大,我个人认为可以通过Hash的方法来减少时间消耗,但因水平有限,并未找到较为理想的Hash函数。

    共计用时3.5个小时

    四、测试用例

    1、测试空文件夹

    2、测试多个文件中相同内容,看程序能否正确统计

    3、大规模文本,进行压力测试

    4、大规模文本,进行压力测试

    5、空文本测试

    6、数字开头文件,不合法单词测试

    7、不同格式文件测试

    8、针对extend模式,测试后缀不同数字的情况

    9、测试特殊字符对分词的影响

    10、针对字典序的测试

    五、收获与感想

           这次工程是我第一次正式接触C#这门语言,相比C++而言,C#更加的易用,但就个人感觉,认为C#并不如Java好实用,一些函数的设计与传统的观念不太一样,令人费解。

           总的来说,通过这次的工程,我学习到了很多新鲜的知识,虽然做的比较仓促,所幸最后成功的完成了代码。

  • 相关阅读:
    SpringCloud学习系列之四-----配置中心(Config)使用详解
    阿里云Docker镜像仓库(Docker Registry)
    阿里云Docker镜像加速
    Docker安装(yum方式 centos7)
    Docker Nginx安装(centos7)
    Dockerfile文件详解
    mysql 开发进阶篇系列 6 锁问题(事务与隔离级别介绍)
    mysql 开发进阶篇系列 5 SQL 优化(表优化)
    mysql 开发进阶篇系列 4 SQL 优化(各种优化方法点)
    sql server 性能调优之 资源等待PAGELATCH
  • 原文地址:https://www.cnblogs.com/wddwxy/p/3327749.html
Copyright © 2011-2022 走看看