当我们接触不同的项目或者不同类型的测试类型后,会发现到项目后期都需要输出测试用例、测试方案、测试报告等文档,现在我们来聊一下测试报告。
测试报告的类型其实也区分很多,一般来说是分为功能测试报告和性能测试报告最多,再细分的话就是接口测试报告、单元集成测试报告、功能测试报告、兼容性测试报告、并发测试报告等等;但是大部分中小型的项目都是功能测试报告、性能测试报告或者直接输出一份测试报告(包括功能和性能),这个时候我们就要知道,该功能测试报告需要包含哪些内容;而且因为接触项目过多,如果自己定制一套测试报告模板,这个对于我们测试效率上会大大提高。
测试报告其实也有两个面向,一个面向客户的、一个面向的是内部。众所周知,其实手工测试仅能发现这个系统的80%的bug,还剩下20%需要依靠不同的工具和别样的思维去发掘,所以一般情况下,面向客户的测试报告我们完成率覆盖率会打到99%-100%;但是面向内部,在测试人员的角度上该系统可提交验收/上线,其实覆盖率只有80%。
测试报告的主要内容包括:
一、引言
1.1编写目的
本测试报告为XXX项目的测试报告,目的在于总结测试阶段的测试情况及分析测试结果,描述系统是否符合用户需求,是否已达到用户预期的功能目标。测试报告参考文档提供给用户、测试人员、开发人员、项目管理者、其他人员和其他需要阅读本报告的用户阅读。
1.2名词解释
Fidder/Charles:抓包工具,主要查看接口和前端返回的数值,以及模拟弱网环境下的测试
Postman:数据类型返回错误时,使用该工具查看数据
XXXXXXX:XXXXXXXXX
1.3参考资料
XXX项目原型图、设计稿
XXX项目的需求文档
(当涉及性能的时候,需要附上一张性能测试指标文件)
二、概述
2.1项目背景(主要对该项目的一个介绍,描述XX项目分为多少个端以及有哪些主要功能模块)
XXX项目分为移动端和pc端,移动端包含了登录、XX、XX、XXX、XXX模块;PC端包含了登录、XX、XXXX、XXXX。
2.2环境配置(一般情况指的的正式生产环境的配置)
2.2.1硬件环境
机器用途 |
|
设备品牌、型号 |
|
CPU个数/型号 |
|
测试工具 |
|
物理核心数 |
|
内存 |
|
硬盘 |
2.2.2软件环境
Pc端 |
移动端 |
|
操作系统 |
|
|
环境变量 |
|
|
测试工具 |
|
2.3测试准备
2.3.3测试安排
测试时间:2021-03-23至2021-03-24
测试地点:广州
角色 |
人员名单 |
测试负责人 |
|
测试人员 |
|
系统调优 |
(最主要说的是性能测试,运维等性能调优相关人员) |
需配合的人员 |
2.3.2测试工具
工具 |
用途 |
|
|
|
|
|
|
|
2.3.3测试环境
Pc端 |
移动端 |
|
测试环境 |
|
|
硬件配置 |
|
|
网络配置 |
|
|
|
|
2.3.3测试指标
2.3.3.1功能测试采集指标
序号 |
监控项 |
1 |
按测试用例执行是否通过测试 |
2.3.3.2性能测试采集指标
序号 |
监控项 |
1 |
并发用户数 |
2 |
事务平均响应时间 |
3 |
平均每秒处理事务数TPS |
4 |
场景执行时间 |
5 |
网络吞吐量 |
三、测试情况
3.1接口测试
域名:http://1.1.1.1
端口:8080
测试时间:
模块 |
Url |
请求参数 |
响应参数 |
测试结果 |
登录 |
【post】/api/test |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
3.2功能测试
3.2.1冒烟测试
测试对象:移动/pc端(当功能模块多时区分两端填写;若不多则可以写一起,若写一起在下列表格左侧加多一列写对应测试端)
版本号:V1.0
冒烟测试时间:(一般情况下测试时间为一天以内)
模块(冒烟测试只需要一级模块) |
测试内容描述 |
测试结果 |
|
|
|
|
|
|
|
|
|
|
|
3.2.2功能测试(执行测试用例)
测试对象:
版本号:V1.0(若冒烟测试通过则与冒烟测试版本号一致)
功能测试时间:
模块 |
测试内容描述 |
测试用例执行 |
测试结果 |
覆盖率 |
|
测试用例数 |
测试用例执行数 |
||||
登录 |
验证使用用户名、密码登录进入系统 |
3 |
2 |
目前当密码用户名未填写时未有提示信息 |
80% |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
总结: |
3.3兼容性测试
主要是从操作系统、浏览器、分辨率三个方面的兼容性
测试对象 |
分辨率 |
测试工具 |
软件版本 |
测试结果 |
Pc端 |
显示器1024×768 显示器1280×1024 显示器1440×900 |
硬件:电脑、笔记本、显示屏 |
Google:90.0.4430.72 Firefox:89.0 (64 位) |
测试通过 |
移动端 |
手机型号的分辨率(如小米9:2340×1080) |
安卓手机、苹果手机、平板等(可以说具体幸好也可笼统的描述) |
Android10、IOS11等 |
测试通过 |
3.4回归测试
模块 |
测试内容描述 |
测试用例执行 |
测试结果 |
测试用例覆盖率 |
|
测试用例总数 |
测试用例已通过数 |
||||
登录 |
验证使用用户名、密码登录进入系统 |
3 |
3 |
测试通过 |
100% |
|
|
100 |
99 |
测试通过(覆盖率达到98%则为通过) |
99% |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
总结: |
3.5性能测试
3.5.1性能指标
系统的性能需求:
(1)在无其他操作的环境下,用户并发需达到100人,且占用资源低于60%;
(2)最大用户数达到500人同时在线,并要求当50人用户逐步登录时所消耗的资源占比;
(3)XXXXXXXX(一般填写的是这次性能测试的性能指标,则用户要求)
3.5.2性能测试场景
测试对象:XXXX系统或XXX功能模块
(1)单一场景
序号 |
业 务 |
并发数 |
循环执行时间 |
模拟用户 操作时间 |
1 |
测试登录并发用户数 |
100 |
2.96s |
|
(2)多个场景
序号 |
业 务 |
用户数 |
循环执行时间 |
模拟用户 操作时间 |
1 |
测试登录最大用户数100 |
100 |
2.96s |
|
2 |
XXXXXX |
|
|
|
3 |
XXXXXXX |
|
|
|
3.5.3性能测试结果分析
(1)单一场景
场景 |
并发数 |
取样数 |
平均响应时间 |
中位响应时间 |
90%响应时间 |
最小响应时间 |
最大响应时间 |
错误率 % |
(秒) |
(秒) |
(秒) |
(秒) |
(秒) |
||||
登录 |
1 |
100 |
2.71 |
2.73 |
2.21 |
2.52 |
2.96 |
0% |
(2)多个场景
场景 |
最大用户数 |
取样数 |
平均响应时间 |
中位响应时间 |
90%响应时间 |
最小响应时间 |
最大响应时间 |
错误率 % |
(秒) |
(秒) |
(秒) |
(秒) |
(秒) |
||||
登录最大用户数 |
100 |
100 |
2.71 |
2.73 |
2.21 |
2.52 |
2.96 |
0% |
汇总结论:
四、总结
4.1缺陷图表统计
4.1.1bug的分布情况
4.1.2bug的重要程度
4.1.3bug的优先级
4.1.4bug的状态
4.2总结与建议
目前,XXX项目相对稳定,并且完成的功能模块也是在计划之内,开发测试过程中存在时间分配的问题后续继续改进,充分做好开发和测试上的时间、人员安排上的规划,把控测试流程中的每一个步骤,提升覆盖率。遗留的缺陷尽量在本期内完成,没完成的在后期版本中解决,以提升产品的稳定性和用户体验;并且加强服务器的管理,确保系统上线后能够正常登录。
建议:
(1)尽可能做到需求的版本控制,按照对应的版本进行一步一步的开发;
(2)项目上从产品需求、开发、测试都有明确的时间和安排计划,并严格按照计划上执行;额外添加或修改的需求需要考虑时间和人员安排,再考虑其优先级;
(3)测试人员按照测试计划严格执行,并提前做好测试准备和测试环境的搭建。