一、覆盖率定义
作为一个测试人员,保证产品的软件质量是其工作首要目标,为了这个目标,测试人员常常会通过很多手段或工具来加以保证,覆盖率就是其中一环比较重要的环节。
我们通常会将测试覆盖率分为两个部分,即“需求覆盖率”和“代码覆盖率”。
需求覆盖:指的是测试人员对需求的了解程度,根据需求的可测试性来拆分成各个子需求点,来编写相应的测试用例,最终建立一个需求和用例的映射关系,以用例的测试结果来验证需求的实现,可以理解为黑盒覆盖。
代码覆盖:为了更加全面的覆盖,我们可能还需要理解被测程序的逻辑,需要考虑到每个函数的输入与输出,逻辑分支代码的执行情况,这个时候我们的测试执行情况就以代码覆盖率来衡量,可以理解为白盒覆盖。
以上两者完全可以相辅相成,用代码覆盖结果反向的检查需求覆盖(用例)的测试是否充分完整。
如果做覆盖率测试?我们可以借助一些网上流行的各种覆盖率工具,本章主要介绍JaCoCo这个工具。
二、JAVA覆盖率工具介绍
市场上java主要代码覆盖率工具:EMMA、JaCoCo。
总结一下个人对JaCoCo优势的理解:
(1) JaCoCo支持分支覆盖、引入了Agent模式。
(2) EMMA官网已经不维护了,JaCoCo是其团队开发的,可以理解为一个升级版。
(3) JaCoCo社区比较活跃,官网也在不断的维护更新。
我们前期使用的EMMA,也做了全量、差异覆盖率,和精准耦合也结合在了一起,但后来考虑到JaCoCo的优势,也就全部切换了过来。
2.1 JaCoCo简述
JaCoCo是一个开源的覆盖率工具(官网地址:http://www.eclemma.org/JaCoCo/),它针对的开发语言是java,其使用方法很灵活,可以嵌入到Ant、Maven中;可以作为Eclipse插件,可以使用其JavaAgent技术监控Java程序等等。
很多第三方的工具提供了对JaCoCo的集成,如sonar、Jenkins等。
JaCoCo包含了多种尺度的覆盖率计数器,包含指令级覆盖(Instructions,C0coverage),分支(Branches,C1coverage)、圈复杂度(CyclomaticComplexity)、行覆盖(Lines)、方法覆盖(non-abstract methods)、类覆盖(classes),后面会一一介绍。
我们先看看其覆盖率结果展现如下图1-1所示,方便读者先有一个大概的了解。
图1-1 覆盖率报告结果部分截图
标示绿色的为行覆盖充分,标红色的为未覆盖的行,黄色菱形的为分支部分覆盖,绿色菱形为分支完全覆盖。
通过这个报告的结果就可以知道代码真实的执行情况,便于我们分析评估结果。
2.2 JaCoCo基本概念
行覆盖率:度量被测程序的每行代码是否被执行,判断标准行中是否至少有一个指令被执行。
类覆盖率:度量计算class类文件是否被执行。
分支覆盖率:度量if和switch语句的分支覆盖情况,计算一个方法里面的总分支数,确定执行和不执行的 分支数量。
方法覆盖率:度量被测程序的方法执行情况,是否执行取决于方法中是否有至少一个指令被执行。
指令覆盖:计数单元是单个java二进制代码指令,指令覆盖率提供了代码是否被执行的信息,度量完全 独立源码格式。
圈复杂度:在(线性)组合中,计算在一个方法里面所有可能路径的最小数目,缺失的复杂度同样表示测 试案例没有完全覆盖到这个模块。
2.3 JaCoCo 原理
1、注入方式介绍
这个图包含了几种不同的收集覆盖率信息的方法,每种方法的实现方法都不一样,带颜色的部分是JaCoCo比较有特色的地方。
上面各个名次含义(带颜色的为JaCoCo支持):
上表JaCoCo支持的部分,再详细的解释下:
(1) JaCoCo在Byte Code时使用的ASM技术修改字节码方法,可以修改Jar文件、class文件字节码文件。
(2) JaCoCo同时支持on-the-fly和offline的两种插桩模式。
On-the-fly插桩:
JVM中通过-javaagent参数指定特定的jar文件启动Instrumentation的代理程序,代理程序在通过Class Loader装载一个class前判断是否转换修改class文件,将统计代码插入class,测试覆盖率分析可以在JVM执行测试代码的过程中完成。
Offline模式:
在测试前先对文件进行插桩,然后生成插过桩的class或jar包,测试插过桩 的class和jar包后,会生成动态覆盖信息到文件,最后统一对覆盖信息进行处理,并生成报告。
On-the-fly和offline比较:
On-the-fly模式更方便简单进行代码覆盖分析,无需提前进行字节码插桩,无需考虑classpath 的设置。
存在如下情况不适合on-the-fly,需要采用offline提前对字节码插桩:
(1) 运行环境不支持java agent。
(2) 部署环境不允许设置JVM参数。
(3) 字节码需要被转换成其他的虚拟机如Android Dalvik VM。
(4) 动态修改字节码过程中和其他agent冲突。
(5) 无法自定义用户加载类。
2、JaCoCo执行最小的java版本
最小需要Java1.5
3、字节码处理方式
JaCoCo通过注入来修改和生成java字节码,使用的是ASM库。
4、java方法控制流分析
JaCoCo是如何在字节码注入的?
我们带着疑问来看下面的内容:
先举个实例,有个java方法:
编译后转换成字节码后,内容如下:
我们知道JaCoCo是字节码注入方式,它是通过一个Probe探针的方式来注入的,具体如下:
探针是字节指令集插入到java方法中,程序执行后可以被记录,它不会改变原有代码的行为。
我们看看探针前后插入比较:
颜色的部分就是探针注入的地方。
JaCoCo是根据控制流Type来采用不同的探针插入策略的。
一个用java字节码定义的java方法的控制流图可能有以下的type,每一个type连接一个源指令与目标指令,type不同探针的注入策略也会不同,如下是type定义:
探针不改变该方法的行为,但记录他们已被执行的事实,从理论上讲,可以在控制流图的每一个边插入一个探针,作为探针实现本身需要多个字节码指令,这将增加几倍的类文件的大小和执行速度。
事实上,只需要一个几个探头,根据每个方法的控制流的方法,下面说明了如何在不同的边缘类型的情况下添加额外的指令:
一个instrumented class可以用以下代码检索其探针数组实例:
JaCoCo是用一个布尔数组来实现探针,每个探针对应于该数组中的项。当以下四个字节码指令触发时探针进行输入设置为true:
JaCoCo对行探针是这样处理的,添加两行指令之间的一个额外的探针时,后续行至少包含一个方法调用。
以上是JaCoCo插桩原理,如果想深入了解,可以去看看它的源码实现。
三、JaCoCo使用方式
使用方式有很多,这里贴出了相应的参考链接,根据项目的不同可以灵活供有需要的读者去学习。
3.1 Apache Ant方式
参见 http://eclemma.org/jacoco/trunk/doc/ant.html
主要有以下几种,具体使用就不介绍了,应用宝是用的这种方式,后续有介绍。
Task coverage、Task agent、Task dump、Task merge、Task report、Task instrument
3.2 命令行方式
参见 http://www.eclemma.org/jacoco/trunk/doc/agent.html
使用方式说明:
主要放在JAVA_OPTS中,比如:
由AgentOptions的getVMArgument方法加载,各参数入AgentOptions的对应参数,为后续操作做为输入。
下面是官网的所有参数说明:
系统在jvm停止的时候会dump覆盖率信息。
关键的核心代码在这里,Agent.java在有一段代码
Runtime.getRuntime().addShutdownHook这个方法的意思就是在jvm中增加一个关闭的钩子,当jvm关闭的时候,会执行系统中已经设置的所有通过方法addShutdownHook添加的钩子,当系统执行完这些钩子后,jvm才会关闭。所以这些钩子可以在jvm关闭的时候进行内存清理、对象销毁等操作。
也就是在JVM关闭的时候调用agent.shutdown(),也就是写覆盖率数据。
3.3 Apache Maven方式
参见 http://www.eclemma.org/jacoco/trunk/doc/maven.html
这种方式适合Maven的项目。
下面简单说下调用方式原理:
就拿官方的Offline Example来说吧,其部分内容如下:
注意蓝色的部分,上面的配置主要做了以下几个事情:
(1) 项目已jar包方式打包,引入junit和jacoco。
(2) Build时执行instrument、report、check。
(3) 覆盖率生成到target/jacoco.exec
我们看看他是怎么触发调用的。
在jacoco源码中:jacoco-maven-plugin argetclassesMETA-INFmavenorg.jacocojacoco-maven-plugin目录下有个plugin-help.xml文件,它里面标明了具体的调用方式。
截出instrument这段,关键地方就是下面蓝色部分。
官网上关于参数的说明:
给出一个整理后的表格:
再给一个jacoco的maven部分的代码目录:
到这里,大家应该清楚其调用的方式了吧。
3.4 Eclipse EclDmma Plugin方式
具体步骤如下:
(1) 在Eclipse菜单中选择Help → Install New Software...
(2) 在安装弹框中输入http://update.eclemma.org/,勾选出现的版本。
(3) 核对版本,点击Next。
(4) 根据向导完成安装。
(5) 使用就不说了。
3.5 与Jekins集成
(1) 先要在jenkins上安装JaCoCo的插件,安装完成之后在job的配置项中可以增加这个选项(如图1-2):
图1-2
(2) 选择后出现(图1-3):
图1-3
第一个录入框是你的覆盖率文件(exec),第二个是class文件目录,第三个是源代码文件目录。
(3) 配置好了之后进行构建,构建完成之后job首页就会出现覆盖率的趋势图(图1-4),鼠标点击趋势图可以看到覆盖率详情(图1-5) ,包括具体覆盖率数据和源码的覆盖率情况:
图1-4 趋势图
图1-5 覆盖率详情
未完待续 :
JaCoCo原理篇就介绍到这里了,后续还有项目实践篇和踩坑篇,实践篇主要介绍下JaCoCo在实际业务中的使用情况,踩坑篇里面包含了几个当时遇到的比较棘手的问题的解决思路,有兴趣的童鞋请关注。
转自:https://cloud.tencent.com/developer/article/1038055
看了阿里开发手册 “单元测试第八条的推荐”
单元测试的基本目标:语句覆盖率达到 70% ;核心模块的语句覆盖率和分支覆盖率都
要达到 100%
Jacoco用法
首先在Maven中引入一下插件
1 <!-- 代码测试覆盖率 --> 2 <plugin> 3 <groupId>org.jacoco</groupId> 4 <artifactId>jacoco-maven-plugin</artifactId> 5 <version>0.7.8</version> 6 <executions> 7 <execution> 8 <id>prepare-agent</id> 9 <goals> 10 <goal>prepare-agent</goal> 11 </goals> 12 </execution> 13 <execution> 14 <id>report</id> 15 <phase>prepare-package</phase> 16 <goals> 17 <goal>report</goal> 18 </goals> 19 </execution> 20 </executions> 21 </plugin>
然后Maven执行 mvn clean install -Dmaven.test.failure.ignore=true
后面红色划重点,意思是:如果在单元测试中,出现了错误,那么忽略他,继续执行下去。
这样的好处是,Maven可以执行完,然后生成代码覆盖率,否则一报错,就不会生成代码覆盖率了。
Jacoco生成内容
我们可以在你的项目中 /target/site/jacoco/index.html 找到代码覆盖率
打开后如上图,红色代码没有覆盖到的代码,绿色代表已经覆盖到的代码。
Jacoco 则是使用字节码注入(Byte Code Instrumentation)的方式,使用 ASM 库在字节码中插入 Probe 探针,通过统计运行时探针的覆盖情况来统计覆盖率信息。
![](http://upload-images.jianshu.io/upload_images/1295721-4ab23bcb062eb950.png?imageMogr2/auto-orient/strip|imageView2/2/w/557/format/webp)
On-the-fly 模式:
JVM 中通过 javaagent 参数指定特定的 jar 文件启动 Instrumentation 的代理程序,代理程序在通过 Class Loader 装载一个 class 前判断是否转换修改 class文件,将统计代码插入 class,测试覆盖率分析可以在 JVM 执行测试代码的过程中完成。
Offline 模式:
在测试前先对文件进行插桩,然后生成插过桩的 class 或 jar 包,测试插过桩的 class 和 jar 包后,会生成动态覆盖信息到文件,最后统一对覆盖信息进行处理,并生成报告。
存在如下情况不适合 on-the-fly,需要采用 offline 提前对字节码插桩:
- 运行环境不支持 java agent。
- 部署环境不允许设置 JVM 参数。
- 字节码需要被转换成其他的虚拟机如 Android Dalvik VM。
- 动态修改字节码过程中和其他 agent 冲突。
- 无法自定义用户加载类。
作者:LensAclrtn
链接:https://www.jianshu.com/p/c6fafb50b07a
![](https://img2020.cnblogs.com/blog/1285984/202007/1285984-20200715174307100-518529945.png)
既然 Jacoco 是依据 class 文件进行覆盖率的统计,那么在用 EclEmma 合并会话数据时,应该保证多个会话的所测试 class 文件字节码内容是相同的,即多次测试过程中被测试 Java 类的源文件没有被修改并且重新编译过。所以在 Eclipse 中,测试用例开始执行执行后,应该保证 Testee 源文件不被改动。如果修改了被测试源文件并保存( Eclipse 会自动重新编译),请将之前的所有测试用例重新以 Coverage As 模式执行一般,否则合并后的覆盖率测试数据会有误差。
另外,由于 JaCoCo 分析统计的是编译后的 class 文件中字节码指令的执行情况。例如某源文件中有一个静态的方法 someMethod,但是在编译时 Javac 会自动为我们的类生成一个构造方法(本例中没有提供非空的构造方法),所以这个类同时有 someMethod 和一个构造方法。由于在执行静态方法过程中没有调用到构造函数,所以会显示覆盖率不是100%
作者:LensAclrtn
链接:https://www.jianshu.com/p/c6fafb50b07a