Java实现的词频统计——单元测试

　　前言：本次测试过程中发现了几个未知字符，这里将其转化为十六进制码对其加以区分。

　　　　1）保存统计结果的Result文件中显示如图：

　　　　　　

　　　　2）将其复制到eclipse环境下的切分方法StringTokenizer中却没有显示；

　　　　　　复制前：

　　　　　　

　　　　　　复制后：

　　　　　　

　　　　　　前后看似没有任何变化；

　　　　3）改动后的统计结果：

　　　　　　

　　　　因此为了检测这个字符做了一个将其转化为十六进制码的小程序：

        String t = "";
        String s = "";
        byte[] bbb = t.getBytes();
        int[] n = new int[bbb.length];
        for (int i = 0; i < n.length; i++) {
            n[i] = bbb[i] & 0xff;　　　　//将每个字符的十六进制码保存到数组中
        }
        for (int j = 0; j < n.length; j++) {
            System.out.println(Integer.toString(n[j], 0x10));
        }
        System.out.println("-----------------");
        byte[] b = s.getBytes();
        int[] in = new int[b.length];
        for (int i = 0; i < in.length; i++) {
            in[i] = b[i] & 0xff;
        }
        for (int j = 0; j < in.length; j++) {
            System.out.println(Integer.toString(in[j], 0x10));
        }

　　　　运行结果如下：

　　　　

　　　　从结果可以看出，这个未知字符是由三个字符组成，而类似的难以识别的字符还有很多。

　　　　此外，在做单元测试之前还做了一项额外的测试——read()方法读取文件时单次读取的字符数量对效率的影响：

　　　　选取了从1-128、129-256、257-384、385-512四个范围，分别进行了测试。

　　　　总测试次数2560次，耗时10min左右，统计结果：

　　　　当取值在200左右时运行速率最快，平均值在210ms左右.

单元测试

　　对Java工程进行的单元测试，使用的工具为Eclipse集成的Juint4。

　　1.对FileProccessing类进行测试，测试其输出到控制台与输出到文件的结果与预期是否相同。Juint代码如下：

　　　　输出到控制台：这里用到了重定向输出，将要输出到控制台的字符串输出到缓冲区，并与预期结果进行比对。

    @Test
    public void testFP() throws Exception {

        final ByteArrayOutputStream outContent = new ByteArrayOutputStream();
        System.setOut(new PrintStream(outContent));　　　　//重定向输出，方便后面进行比对
        new FileProccessing("content.txt", 200);
        assertEquals(
                "~~~~~~~~~~~~~~~~~~~~
content
totals of the words:6
quantity of vocabulary:5
very——2
english——1
is——1
my——1
poor——1
~~~~~~~~~~~~~~~~~~~~
",
                outContent.toString());

    }

　　　　输出到文件：生成实例后分别建立两个文件流，一个读取实际结果文件，一个读取预期结果文件，通过循环逐行比对。

    public void testFPtoFile() throws Exception{
        new FileProccessing("E:\Test3\Test1.txt");　　　　//测试文件
        FileReader expect = new FileReader("E:\Test3\Expect.txt");　　　　//用来保存期待的结果
        BufferedReader ep= new BufferedReader(expect);
        FileReader actual = new FileReader("Result.txt");　　　　//实际的结果文件
        BufferedReader at = new BufferedReader(actual);
        String temp;
        while((temp = at.readLine()) != null){
            assertEquals(ep.readLine(),temp);　　　　//对文件中内容逐行比较
        }
        at.close();
        actual.close();
        ep.close();
        expect.close();
    }

　　　　用例截图：

　　

　　

　　　　单元测试结果：

　　

　　　　代码覆盖率：覆盖率为72%，未覆盖到的部分为主函数中为用户提供输入的代码段。

　　

 　　2.对于上面的测试用例进行改进，对main()函数不同情况的的输入输出进行测试。Juint代码如下，大致分为四种情况：

　　　　1>由命令行传入参数:

    @Test
    public void testMain1() throws Exception {
        String[] test = { "E:\Test3\Test1.txt" };
        WordFrequencyCount.main(test);　　　　//生成实例
        
        FileReader expect = new FileReader("E:\Test\Expect.txt");
        BufferedReader ep = new BufferedReader(expect);
        FileReader actual = new FileReader("Result.txt");
        BufferedReader at = new BufferedReader(actual);
        
        String temp;
        while ((temp = at.readLine()) != null) {
            assertEquals(ep.readLine(), temp);
        }
        
        at.close();
        actual.close();
        ep.close();
        expect.close();
    }

　　　　2>传入参数为文件夹时：

    @Test
    public void testMain2() throws Exception {
        String[] test = { "E:\Test3" };　　　　//文件夹中内容为Test1.txt
        WordFrequencyCount.main(test);
        
        FileReader expect = new FileReader("E:\Test\Expect.txt");
        BufferedReader ep = new BufferedReader(expect);
        FileReader actual = new FileReader("Result.txt");
        BufferedReader at = new BufferedReader(actual);
        
        String temp;
        while ((temp = at.readLine()) != null) {
            assertEquals(ep.readLine(), temp);
        }
        
        at.close();
        actual.close();
        ep.close();
        expect.close();

    }

　　　　3>由控制台重定向输入：这里运用了重定向输入，并且将String转化为输入流。

    @Test
    public void testMain3() throws Exception {
        String[] test = {};
        String str = "< E:\Test3\Test1.txt
";
        ByteArrayInputStream instr = new ByteArrayInputStream(str.getBytes());　　　　//将String转化为输入流
        
        System.setIn(instr);　　　　//重定向输入
        WordFrequencyCount.main(test);
        
        FileReader expect = new FileReader("E:\Test\Expect.txt");
        BufferedReader ep = new BufferedReader(expect);
        FileReader actual = new FileReader("Result.txt");
        BufferedReader at = new BufferedReader(actual);
        
        String temp;
        while ((temp = at.readLine()) != null) {
            assertEquals(ep.readLine(), temp);
        }
        
        at.close();
        actual.close();
        ep.close();
        expect.close();
    }

　　　　4>由控制台输入文件名及内容：这一部分使用了重定向输入和输出；由于main()函数中为了方便用户使用，会有输出作为引导，因此在比对时要把这部分输出也纳入考虑。

    @Test
    public void testMain4() throws Exception {
        String[] test = {};
        String str = "content
My English is very very poor.
";
        ByteArrayInputStream instr = new ByteArrayInputStream(str.getBytes());
        
        System.setIn(instr);
        
        final ByteArrayOutputStream outContent = new ByteArrayOutputStream();
        System.setOut(new PrintStream(outContent));
        WordFrequencyCount.main(test);
        assertEquals(
                "请输入文件名：
请输入内容，结尾以回车后ctrl+z结束：
~~~~~~~~~~~~~~~~~~~~
content
totals of the words:6
quantity of vocabulary:5
very——2
english——1
is——1
my——1
poor——1
~~~~~~~~~~~~~~~~~~~~
time:1ms
",
                outContent.toString());
    }　　　　　　　　//要考虑到main()函数中面向用户的输出

　　　　（为了方便测试，这一部分用例与之前相同，这里不再展示）

　　　　单元测试结果：

　　

　　　　代码覆盖率：覆盖率为94%，加入了对于面向用户的输入输出的测试。仍有未覆盖到的代码，主要是抛出异常、异常处理、异常检测部分的代码。

　　

　　通过此次单元测试了解到：System.out.println()与System.out.print()方法差别不仅仅在于行末多了换行符 ，而是 。同时通过这次单元测试发现了原程序中的bug：用read()方法读取文件时用来保存结果的char[]不会自动清空，而是以覆盖的方式读取字符，因此会导致统计结果有误。

代码地址：

　　HTTPS   https://coding.net/u/regretless/p/WordFrequencyCount/git

　　SSH      git@git.coding.net:regretless/WordFrequencyCount.git

　　GIT       git://git.coding.net/regretless/WordFrequencyCount.git