C#代码覆盖率实践-vsinstr和OpenCover

 

C#代码覆盖率实践-vsinstr和OpenCover

标签： C#覆盖率Visual StudioOpenCover测试

2013-06-09 00:57 8149人阅读 评论(8) 收藏 举报

 分类：

软件质量（15） 

版权声明：本文为博主原创文章，未经博主允许不得转载。

最近接触的项目涉及到C#开发的应用，测试过程中我们需要去分析C#的代码覆盖率，问了一些人，在网上也搜了一些，零碎的找到很多资料，但是都不是很完整，实际使用的过程中还是走了不少弯路。到现在为止，有两种可行的方案试验成功了，这里写出来给大家分享下。可能很多人都用过，就当是个整理吧。

 

方法一：使用VS自带的vsinstr工具

准备条件：安装VS2010或者VS2012。

 

基本的操作步骤，主要是三个。

1. 对被测的DLL进行插桩。

"C:Program Files (x86)Microsoft Visual Studio 10.0Team ToolsPerformance Toolsx64vsinstr"  -coverage "D:xxx.dll"

原来的dll自动被更名为 *.orig，相当于是一个备份。可以看到被插桩的DLL尺寸有所增加。

2. 启动coverage数据监控和收集。

start vsperfmon -coverage -output:"D:xyz.coverage" /CS /user:everyone

3. 运行被测的程序，或者等待被执行。

4. 停掉被执行的程序，可以直接关闭应用。

 

5.  停止coverage监听，生成数据。

vsperfcmd /shutdown

 

6. 找到D:xyz.coverage，双击可以直接用VS打开查看。 显示的是block覆盖率，如果有source code可以对着代码查看。

 

方法一小结：

1. 这种方式除了最后查看报告，不需要启动VS，也不限制被测的代码如何被测试，可以手工也可以其他自动化程序。

2. 目前来看需要逐个DLL插桩，对于exe文件没有尝试。

3. 生成的覆盖率报告是二进制文件，需要在VS里面查看。

4. 目前看到的是只有block级别的覆盖率数据，没有找到line级别的。

 

方法二：使用免费的OpenCover工具

 

准备条件：

1. 安装OpenCover工具，可以直接下载msi或者zip包

https://github.com/opencover/opencover/releases

http://opencover.codeplex.com/wikipage?title=https%3a%2f%2fgithub.com%2fopencover%2fopencover%2freleases

 

2. 下载ReportGenerator工具，用于将OpenCover生成的XML报告转换成更加可读的HTML报告。

 

具体的步骤：

1. 在VS里面随便用C#写了一小段代码，包含了一个分支，用于查看覆盖和未覆盖的情况。编译成 ConsoleApplicaiton1.exe

 

2. 通过OpenCover将被测的ConsoleApplicaiton1.exe在命令行启动起来，加上相关的参数。

 -output:c2.xml   指明将生成的报告文件名。

-targetdir:  告诉OpenCover这个exe对应的PDB在哪儿。两种方法PDB文件都是必须的。

-register 不是很清楚用途，但是是必须的，第一次没加这个参数覆盖率数据出不来。

更详细的参数请查看OpenCover的手册。

 

具体的命令：

OpenCover.Console.exe -register -target:"C:Users ickyqiuDocumentsVisual Studio 2012ProjectsConsoleApplication1ConsoleApplication1inDebugConsoleApplication1.exe" -output:c2.xml -targetdir:"C:Users ickyqiuDocumentsVisual Studio 2012ProjectsConsoleApplication1ConsoleApplication1inDebug"

 

执行的结果如下面的cmd窗口。程序很简单，所以很快跑完了，显示了一个覆盖率的摘要。

 

这样就可以得到指定的报告文件 c2.xml了。

 

3. 可以用ReportGenerator工具生成HTML的报告便于查看。

 

由于这里有源码，所以HTML报告里面就直接显示了代码行级别的覆盖率。红色的部分是没有执行到的，绿色的是被执行到的。加起来是可覆盖（coverable）行。这里的概念都是比较通用的，和其他语言的覆盖率也是一样的。

 

方法二小结：

1.  这个方法没有显示的插桩（instrument）的动作，我的理解是在将被测程序启动的时候做了一些事情。试过多个文件包含exe和dll都是可以的。

下面是一个外面找到的实际的大一点的子项目代码的例子。

 

2. 可以直接看到line级别的覆盖率数据，有源码的话可以直接映射到源码，无源码是到文件级别的汇总数据。

 

3. 整个使用过程还是非常方便的，无论是上面的demo console小程序，还是这个有GUI的比较大的实际client。被启动后可以像单独运行时一样使用，无任何感知，所以对测试手段也没有要求，手工或者自己的自动化程序都可以。

 

4. 报告比较方便，特别是用ReportGenerator后。

 

 

还有一些待研究的:

1. 如果团队有多人一起执行测试，如何合并多人的覆盖率数据。

2. 如果是对于server端的程序，如何来处理。应该是可以做到，但是需要去验证。

 

总的来说，无论那种方法提供的数据，对于我们的测试都有很好的参考价值，是一个重要的辅助手段。

 

 

在单元测试实践中经常会需要查看代码覆盖率，大多生成单元测试覆盖率的软件都是收费的。

开源的Coverage Tool不多，OpenCover是一个不错的选择。

参考：http://stackoverflow.com/questions/276829/code-coverage-for-c-net

            http://www.codeproject.com/Articles/677691/Getting-code-coverage-from-your-NET-testing-using

1. 准备工具

NUnit或者MS Unit

OpenCover：从这里获取

ReportGenerator：https://github.com/danielpalme/ReportGenerator

你也可以从nuGet上获取，具体方法请自己百度

2. 配置环境

OpenCover使用起来并不复杂，只是配置路径有点麻烦。

运行OpenCover需要一系列参数，这里只说明几个主要的参数：

-target：这是目标应用或服务的路径（名称），这里指单元测试工具的路径，支持NUnit和MS Unit

-targetdir：目标目录的路径，如果target argument已经包含了一个路径，那么这个参数可以提供一个查找pdb文件的可选路径

-targetargs：target参数指定的应用所需要的参数(编译测试工程生成的一个dll文件或者EXE文件路径)

-output：输出XML文件的路径，如果没有提供将在当前目录下生成results.xml， 该文件将用于ReportGenerator生成可视化的覆盖率报告

ReportGenerator所需要的参数：

-reports：上述XML文件的路径

-targetdir：生成报告的目录

为了方便环境配置，本人采用了Python脚本跟ini配置文件的方式

下面是脚本程序跟配置文件，请根据项目实际情况配置路径：

# run.py 只需执行这个脚本就可以生成可视化报告
import configparser
import os

config = configparser.ConfigParser()

try:
    config.read('config.ini')

    if 'Default' in config.sections():
        if 'opencoverpath' in config['Default'].keys():
            OpenCoverPath =  config['Default']['opencoverpath']
        if 'nunitpath' in config['Default'].keys():
            NUnitPath = config['Default']['nunitpath']
        if 'projdir' in config['Default'].keys():
            ProjDir = config['Default']['projdir']
        if 'projpath' in config['Default'].keys():
            ProjPath = config['Default']['projpath']
        if 'outpath' in config['Default'].keys():
            OutPath = config['Default']['outpath']
        if 'reportgenpath' in config['Default'].keys():
            ReportGenPath = config['Default']['ReportGenPath']
        if 'reporttargetdir' in config['Default'].keys():
            ReportTargetDir = config['Default']['ReportTargetDir']
        # print(OpenCoverPath)
        # print(NUnitPath)
        # print(ProjDir))
        # print(ProjPath)
        # print(OutPath)
        os.system('{0} -register:user -target:{1} -targetdir:{2} -targetargs:{3} -output:{4}'.format(OpenCoverPath, NUnitPath, ProjDir, ProjPath, OutPath))
except e:
    print(e.message)
else:
    os.system('{0} -reports:{1} -targetdir:{2}'.format(ReportGenPath, OutPath, ReportTargetDir))

[Default]
OpenCoverPath = D:ReportsToolsOpenCoverOpenCover.Console.exe
NUnitPath = D:ProjpackagesNUnit.Runners.2.6.4	ools
unit-console-x86.exe
ProjPath = D:ProjUnitTestProjinDebugUnitTestProj.exe
ProjDir = D:ProjUnitTestProjinDebug
OutPath = D:ReportsNUnitTestcoverage.xml
ReportGenPath = D:ReportsToolsReportGeneratorinReportGenerator.exe
ReportTargetDir = D:ReportsCodeCoverage

注：一种简单的可选方案是直接将命令保存在文本文件里，需要运行时直接拷贝到命令窗口执行

3. 生成报告

运行上述run.py脚本即可，感受下：