软件测试基础

软件测试基础

一、测试相关概念

•IT（Information Technology），即信息科技和产业的意思。

•软件：一系列按照特定顺序组织的计算机数据和指令的集合

程序+数据+文件

•产品：能够供给市场，被人们使用和消费，并能满足人们某种需求的任何东西，包括有形的物品、无形的服务、组织、观念或它们的组合。

•项目：指一系列独特的、复杂的并相互关联的活动，这些活动有着一个明确的目标或目的，必须在特定的时间、预算、资源限定内，依据规范完成。

1、什么是软件测试

•功能测试

•性能测试

•1983，IEEE提出的软件工程标准术语，软件测试定义如下：“使用人工和自动手段来运行或测试某个系统的过程， 其目的在于检验它是否满足规定的需求或是弄清预期结果与实际结果之间的差别”。

2、软件测试任职要求

硬实力： 学历、专业、经验、测试技术、开发技能、业务知识

软实力： 责任心、沟通能力、团队合作精神、耐心、细心、信心、风险防范意识、持续学习能力

二、 软件生命周期

                需求调研  需求分析  设计  开发  测试  发布上线  运维  下线

三、项目组成员

产品经理：收集反馈，整理需求；

项目经理：建立项目，从全场把控项目；

开发团队；

测试团队；

配置人员：把软件配置到环境中，软件版本发布；

QA：贯穿全过程，制定规范、辅助、审计。

四、测试基本原则

1、测试是上下文相关的；

2、穷尽测试时不可能的；

3、测试今早介入；

4、杀虫剂悖论；

5、缺陷群集性；

6、测试证明存在缺陷；

7、无措谬论。

五、软件开发模型

研发模型 ---瀑布型

                       

研发模型---原型

 

研发模型--- 敏捷模型

敏捷开发(Agile Development)是一种以人为核心、迭代、循序渐进的开发方法。

 

研发模型 ---其他模型

•螺旋模型：适合于大型复杂软件系统

•RUP模型（Rational Unified Process）：模型过于复杂，难于掌握，耦合度高不适合

六、软件测试模型

1、测试模型---V模型

优点：既包括低层测试又包括了高层测试，低层测试是为了源代码的正确性，高层测试是为了使整个系统满足用户的需求。

局限性：把测试过程作为在需求分析、概要设计、详细设计及编码之后的一个阶段，不能体现“尽早地和不断地进行软件测试”的原则。

2、测试模型--- W模型

 

优点：

1.如果测试文档能尽早提交，那么就有了更多的检查和检阅的时间，这些文档还可用于评估开发文档。

2.测试者可以在项目中尽可能早地面的规格说明书中的挑战。 3.测试还可以尽可能早地找出缺陷所在，从而帮助改进项目内部的质量。

局限性：无法支持迭代、自发性以及变更调整。

3、其他测试模型

七、软件测试阶段

1、需求测试

返工：70%~85%由于需求

重点：检查需求规格说明书 SRS

1）完整性

2）正确性

3）一致性

4）可行性

5）无二义性

6）健壮性

7）必要性

8）可测试性

9）可修改性

 

2、单元测试

单元：函数、类

单元测试是针对软件基本组成单元（软件设计的最小单位）来进行正确性检验的测试工作

单元测试的目的是检测软件模块对《详细设计说明书》LLD的符合程度

3、系统测试

系统测试是将已经集成好的软件系统，作为整个基于计算机系统的一个元素，与计算机硬件、外设、某些支持软件、数据和人员等其他系统元素结合在一起，在实际运行（使用）环境下，对计算机系统进行一系列的测试工作

系统测试的目的在于通过与《需求规格说明书》作比较，发现软件与系统需求定义不符合或与之矛盾的地方

4、确认测试

又称有效性测试，它的任务是验证软件的有效性，即验证软件的功能和性能及其它特性是否与用户的要求一致。

若能达到这一要求，则表明开发的软件是合格的。

5、验收测试

交付用户部署前，进行验收测试

以用户为主，验收组：项目组成员、用户代表或者系统的其它利益相关者。

根据合同、《需求规格说明书》或《验收测试计划》对成品进行验收测试。

Alpha测试和Beta测试

Alpha：内部，模拟/真实

Beta：外部，真实

UAT测试

User Acceptance Test 用户接受度测试验证系统的可用性

6、回归测试（Regression Testing）：软件在测试或其他活动中发现的缺陷经过修改后进行的测试。目的是验证缺陷得到了正确的修复，同时对系统的变更没有影响以前的功能。

回归测试可以发生在任何一个阶段，包括单元测试、集成测试和系统测试。

回归测试策略

1、完全重复测试：

重新执行所有在前期测试阶段建立的测试用例，来确认问题修改的正确性和修改的扩散局部影响性

2、 选择性重复测试：

即有选择地重新执行部分在前期测试阶段建立的测试用例，来测试被修改的程序

选择性重复测试 ：

1、覆盖修改法

即针对被修改的部分，选取或重新构造测试用例验证没有错误再次发生的用例选择方法。

2、 周边影响法：

该方法不但要包含覆盖修改法确定的用例，还需要分析修改的扩散影响，对那些受到修改间接影响的部分选择测试用例验证它没有受到不良影响。该方法比覆盖修改法更充分一点。

3、指标达成方法：

这是一种类似于单元测试的方法，在重新执行测试前，先确定一个要达成的指标，如修改部分代码100%的覆盖、与修改有关的接口60%的覆盖等，基于这种要求选择一个最小的测试用例集合

•以下流程适合于单元测试、集成测试和系统测试

•1、在测试策略制定阶段，制定回归测试策略

•2、确定需要回归测试的版本

•3、回归测试版本发布,按照回归测试策略执行回归测试

•4、回归测试通过，关闭缺陷跟踪单（问题单）

•5、回归测试不通过，缺陷跟踪单返回开发人员，开发人员重新修改问题，再次提交测试人员回归测试

回归测试自动化

（1）回归测试是一个重用以前成果的测试，很难预料到要经过多少次回归系统才能达到满意的水平，结果，这种回归测试将可能演变成一种重复的、令人心烦意乱的工作，效果与人员的积极性将大打折扣，因此，在回归测试道路上的自动化便是我们工作的追求

（2）回归测试的自动化法包括测试程序的自动运行、自动配置，测试用例的管理和自动输入，测试的自动执行，测试信息与结果的自动采集，测试结果的自动比较和结论的自动输出，尤其前面提到的各类数据的共享决策

（3）对系统测试功能比较简单、测试界面相对稳定并且测试用例良好组织的测试来说，采用“捕捉回放”工具是比较合适的，这类工具有Selenium等

冒烟测试

这一术语源自硬件行业。对一个硬件或硬件组件进行更改或修复后，直接给设备加电。如果没有冒烟，则该组件就通过了测试。在软件中，“冒烟测试”这一术语描述的是在将代码更改嵌入到产品的源树中之前对这些更改进行验证的过程。在检查了代码后，冒烟测试是确定和修复软件缺陷的最经济有效的方法。冒烟测试设计用于确认代码中的更改会按预期运行，且不会破坏整个版本的稳定性。

八、软件测试类型

1、功能测试

概念： 功能测试是根据产品的需求规格说明书和测试需求列表，验证产品的功能实现是否符合产品的需求规格

目标：

功能测试主要是为了发现以下几类错误：

•是否有不正确或遗漏了的功能？

•功能实现是否满足用户需求和系统设计的隐藏需求？

•输入能否正确接受？能否正确输出结果？

 

2、性能测试

•性能测试(Performance Testing)就是用来测试软件在集成系统中的运行性能的。

•性能测试的目标是度量系统相对于预定义目标的差距。

•性能测试必须要有工具支持，市面上有一些专门用于GUI或Web的性能测试工具，如Loadrunner, Jmeter, SilkPerformer, WebLoad。

性能测试收集的信息 ：

•CPU使用情况

•IO使用情况

•内存使用情况

•信道使用情况

•每个模块执行时间百分比

•一个模块等待IO完工的百分比

•指令随时间的跟踪路径

•每一组指令页换入和换出的次数

•系统反应时间

•系统吞吐量，即每个时间单元的处理数量

•所有主要指令的单元执行时间

 

3、负载测试

负载测试是超过被测对象标准性能负荷指标下，验证系统的负载承受能力。并要求超负荷情况下，依然正常实现业务功能。

负载测试是通过不断对被测对象施加负荷，观察被测对象在不同负载下的性能表现。

 

4、压力测试：

压力测试（Stress Testing）的目的是调查系统在其资源超负荷的情况下的表现。尤其感兴趣的是这些对系统的处理时间有什么影响。这类测试在一种需要反常数量、频率或资源的方式下执行系统。

目标：

通过极限测试方法，发现系统在极限或恶劣环境中自我保护能力。主要验证系统的可靠性，找到系统薄弱环节。

例子：

•成千上万的用户在同一时间登录到Internet；

•同时引入大量的操作。

 

5、容量测试

容量测试(Volume Testing)的目的是使系统承受超额的数据容量来发现它是否能够正确处理。

容量测试是面向数据的，并且它的目的是显示系统可以处理目标内确定的数据容量。

容量测试的例子：

•使用编译器编译一个极其庞大的源程序；

•一个操作系统的任务队列被充满；

•庞大的Email信息和文件充满了Internet。

 

6、安全性测试

安全测试(Security Testing)用来验证集成在系统内的保护机制是否能够在实际中保护系统不受到非法的侵入。 用来保证系统本身数据的完整性和保密性。如当受到恶意攻击时，设备的自我保护能力，病毒防护能力，自定义通信协议安全性等。广义的还包括物理安全性测试、业务安全性测试。

一些功能性的安全性问题：

•没有口令是否可以登录到系统中？

•各级用户权限划分是否合理？

•错误和文件访问是否适当地被记录？

•系统配置数据是否能正确保存，系统故障时是否能恢复？

安全性测试内容：

一般可以从以下方面考虑安全性测试

•系统的登录

•用户管理

•防火墙

•系统数据

•WEB安全性，如WEB的加密，解密，数字签名等

•数据库的安全性

•内部通信协议

•系统防病毒测试

 

7、GUI测试

•GUI测试是针对软件系统GUI界面进行的测试

•GUI测试主要包括两方面的内容：

界面实现与界面设计的吻合情况；

确认界面处理的正确性。

•一般业界常用的GUI自动化工具有QTP, SilkTest, QARun、QuickTestProfessional,selenium等。

GUI测试对象：

•简单界面元素：指功能和属性相对比较单一的界面区域，即通常所指的各种控件

•组合类界面元素：主要指一些复杂的界面元素，比如工具栏，组合框，表格，菜单栏等

•完整界面（窗口）：由一系列界面元素通过适当的形式组合而成的界面形式，最为常见的为各种窗口。包括各种对话框、单文档窗口、多文档父窗口，多文档子窗口等

 

8、可用性测试

可用性测试(Usability Testing)是为了检测用户在理解和使用系统方面到底有多好。主要考虑产品是否符合实际应用情况，是否符合用户习惯或特殊要求，操作方式是否方便合理、设备和用户间的交互信息是否准确易于理解、是否遵从行业习惯、外观/界面是否美观等。应涉及到所有和用户有交互的功能或子系统。这包括系统功能、系统发布、帮助文本和过程，以保证用户能够舒适地和系统交互。

一些测试人员应当关注的可用性问题：

•过分复杂的功能或者指令；

•困难的安装过程；

•错误信息不准确或者过于简单；

•用户被迫去记住太多的信息；

•语法、格式和定义不一致

 

9、安装卸载测试

定义：

系统的可安装性测试，主要是根据软件的测试特性列表、软件安装、配置文档，设计安装过程的测试用例，发现软件在安装过程中的错误

目的：

•系统可安装性测试的目的不仅是找安装软件本身的错误，而且还要找安装文档的错误。在安装软件系统时，会有多种选择，要分配和装入文件与程序，布置适当的配置，进行程序的联结。而安装测试就要找出这些安装过程中出现的错误

 

10、异常测试

概念：

系统异常测试又叫系统容错和可恢复性测试，它是通过人工干预手段使系统产生软、硬件异常，通过验证系统异常前后的功能和运行状态，达到检验系统的容错、排错和恢复的能力。它是系统可靠性评价的重要手段

容错处理：

•系统自动处理

•人工干预处理

注意：

•系统异常测试还与系统的指标测试有关系，当系统需要提供的服务能力大于系统的设计指标时，也属于系统异常的情况，因此应该结合起来加以考虑

•系统的可靠性是设计出来的，而不是测试出来的。测试出来的数据有助于为我们进行进一步的系统优化设计积累经验，设计和测试是一个互为反馈的过程

 

11、文档测试

文档测试(Documentation Testing)的目标是验证用户文档是正确的

并且保证操作手册的过程能够正确工作。

 

12、网络测试（接口测试）

概念：

网络测试是在网络环境下和其他设备对接，进行系统功能、性能与指标方面的测试，保证设备对接正常

内容：

网络测试考察系统的处理能力、系统兼容性、系统稳定可靠性及用户使用等方面。如通信产品，主要进行协议测试：

•一致性测试：检测所实现的系统与协议规范符合程度

•性能测试：检测协议实体或系统的性能指标（数据传输率、联接时间，执行速度、吞吐量、并发数等）

•互操作性测试：检测同一协议不同实现厂商之间，同一协议不同实现版本之间、或同一类协议不同实现版本之间互通能力和互连操作能力

•坚固性测试：检测协议实体或系统在各种恶劣环境下运行的能力（信道被切断、通信设备掉电、注入干扰报文等）

 

13、稳定性测试

系统稳定性测试目的是评价系统在一定负荷情况下、长时间的运行情况。包括系统在一定负荷下，再增加新的业务，原有的业务是否受影响，新的业务是否能正常工作，系统资源有无泄漏，数据有无不一致的情况，系统性能是否会降下来，关键点是长时间的运行后，系统的状况如何，系统平均无故障时间MTBF是否满足系统设计要求。

 

14、兼容性测试

兼容性测试验证被测对象与硬件、其他软件之间的兼容情况

软件测试方法

测试活动从不同的角度出发，可以有不同的分类。主要用对照比较的方式讲解下面一些测试分类：

•黑盒测试和白盒测试、灰盒测试

•静态测试和动态测试

•人工测试和自动化测试

还有其它一些分类方式，要搞清每一种分类的具体含义

软件测试的两种极端情况:

任何软件产品都可以使用以下的两种方法之一进行测试：

•已知产品的需求规格，但不知道其内部实现，可以进行测试证明每个需求是否实现。

•已知产品的内部实现过程，可以通过测试证明每种内部操作是否符合设计规格的要求，所有内部成分是否已经过检查。

 

计算器例子

•参照SRS直接测试计算器的加法功能。这就是黑盒测试。

•参照LLD根据加法主函数的伪码或者流程图测试该主函数的结构。这就是白盒测试。

 

什么是白盒测试

白盒测试是依据被测软件分析程序内部构造，并根据内部构造设计用例，来对内部控制流程进行测试，可完全不顾程序的整体功能实现情况。

•白盒测试是基于程序结构的逻辑驱动测试。

•白盒测试又可以被称为玻璃盒测试、透明盒测试、开放盒测试、结构化测试、逻辑驱动测试。

 

为什么要进行白盒测试

我们只要保证需求得到实现就行了，为什么要花费时间和精力来测试内部的逻辑细节呢？

•白盒测试一般在测试前期进行，通过达到一定的逻辑覆盖率指标，使得软件内部逻辑控制结构上的问题能基本得到消除

•白盒测试能保证内部逻辑结构达到一定的覆盖程度，能够给予软件代码质量更大的保证

•白盒测试发现问题后解决问题的成本较低

 

白盒测试的常用技术

白盒测试一般会用到静态分析和动态分析两类技术。常用的有：

•静态分析：控制流分析、数据流分析、信息流分析等

•动态分析：逻辑覆盖测试（分支测试、路径测试等）、程序插装等

 

什么是黑盒测试

•黑盒测试把被测对象看成一个黑盒，只考虑其整体特性，不考虑其内部具体实现。

•黑盒测试针对的被测对象可以是一个系统、一个子系统、一个模块、一个子模块、一个函数等。

•黑盒测试又可以被称为基于规格的测试。

 

常见的黑盒测试类型

•功能性测试，一种是顺序测试每个程序特性或功能，另一种途径是一个模块一个模块的测试，即每个功能在其最先调用的地方被测试；

•容量测试，检测软件在处理海量数据时的局限性，能发现系统效率方面的问题；

•负载测试，检测系统在一个很短时间内处理一个巨大的数据量或执行许多功能调用上的能力；

•恢复性测试，主要保证系统在崩溃后能够恢复外部数据的能力；

 

黑盒测试的特点

•对于更大的代码单元来说（子系统甚至系统级）比白盒测试效率要高；

•测试人员不需要了解实现的细节，包括特定的编程语言；

•从用户的视角进行测试，很容易被大家理解和接受；

•有助于暴露任何规格不一致或有歧义的问题；

 

灰盒测试

•根据利用的被测对象信息的不同，会采用不同的方法进行测试。

•利用被测对象的整体特性信息，采用黑盒测试方法

•利用被测对象的内部具体实现信息，采用白盒测试方法

•如果既利用被测对象的整体特性信息，又利用被测对象的内部具体实现信息，采用的就是灰盒测试方法。两种信息占的比例不同，相应的灰度就不同。完全是整体特性信息，就是黑盒测试，完全是内部具体实现信息，就是白盒测试

•典型的灰盒测试比如集成测试和系统测试时借助log信息

 

静态测试和动态测试

•静态测试：不运行被测试的软件系统，而是采用其他手段和技术对被测试软件进行检测的一种测试技术。例如：代码走读、文档评审、程序分析等都是静态测试的范畴。常用技术有静态分析技术。

•动态测试： 按照预先设计的数据和步骤去运行被测软件系统，从而对被测软件系统进行检测的一种测试技术。常用技术有动态分析技术。

 

静态分析技术

•定义：静态分析是一种不通过执行程序而分析程序执行的技术

•功能：检查软件的表示和描述是否一致，没有冲突或者没有歧义，它瞄准的是纠正软件系统在描述、表示和规格上的错误，因此是任何进一步测试执行的前提。

主要有三种不同的程序测试可能性：

•考虑程序是否满足编码规则，语法上是否具有一致性和完整性；

•考虑文档描述是否规范、准确、便于查阅；

•考虑程序和文档之间的一致性。

 

人工和自动化测试

•人工测试：测试活动（如评审、测试设计、测试执行等）由人来完成，狭义上是指测试执行由人工完成，这是最基本的测试形式

•自动化测试：一般是指通过计算机模拟人的测试行为，替代人的测试活动，狭义上是指测试执行由计算机来完成

自动化测试的意义

•对程序新版本运行前一版本执行的测试，提高回归测试效率

•可以运行更多更频繁的测试，比如冒烟测试

•可以执行手工测试困难或不可能做的测试，比如大量的重复操作或者集成测试

•更好地利用资源，比如测试仪器或者被测对象

自动化测试的限制

•不能取代手工测试，自动化测试只能提高测试效率，不能提高测试有效性，即不可能发现更多缺陷

•手工测试比自动测试发现的缺陷更多

•对测试设计依赖性极大，测试设计的不好会遗漏问题

•自动化测试对软件开发具有很大的依赖性，开发上出现变更可能导致前面的自动化测试完全失效

•工具本身并不具备想象力，工具不具有智能

 

九、软件测试流程

•测试计划阶段 – 测试计划

•测试设计阶段 – 测试方案

•测试实现阶段 – 测试用例、测试规程

•测试执行阶段 – 测试报告        

               

主要的测试文档

1.测试计划：指明测试范围、方法、资源，以及相应测试活动的时间进度安排表的文档。

2.测试方案：指明为完成软件或软件集成特性的测试而进行的设计测试方法的细节文档。

3.测试用例：指明为完成一个测试项的测试输入、预期结果、测试执行条件等因素的文档。

4.测试规程：指明执行测试时测试活动序列的文档。

5.测试报告：指明执行测试结果的文档。

6.测试日报：每天测试执行情况的记录和总结。

 

系统测试过程与开发阶段

 

 

系统测试各阶段的输入、输出

 

 

测试工程师系统测试各阶段任务

软件需求阶段：评审软件需求规格说明书

软件设计阶段：评审软件概要设计说明书、软件详细设计说明书、协助编写系统测试计划

软件编码阶段：设计系统测试用例、准备测试资源（测试工具、测试环境等）、开发测试脚本、开发测试工具、准备测试数据

软件测试阶段：执行测试用例、提交缺陷单、跟踪缺陷、回归测试、提交测试报告

 

十、软件测试质量

软件质量： 软件质量是许多质量属性的综合体现，各种质量属性反映了软件质量的方方面面。人们通过改善软件的各种质量属性，从而提高软件的整体质量。

 

如何描述质量：

软件的质量属性很多，如正确性、精确性，健壮性、可靠性、容错性、性能、易用性、安全性、可扩展性、可复用性、兼容性、可移植性、可测试性、可维护性、灵活性等。

上述这些质量属性之间“你中有我，我中有他”，非常缠绵。如果开发人员每天要面对那么多的质量属性咬文嚼字，不久就会迂腐得像孔乙己，因此我们有必要对质量属性做些分类和整合。质量属性可分为两大类：“功能性”与“非功能性”，后者有时也称为“能力”（Capability）。

 

举例

•榨汁机:

•功能：能够榨豆浆、水果汁(苹果、梨、西瓜。。。。。。）

•性能：榨一公斤黄豆需要多长时间？

•耗能：榨一公斤黄豆耗电量多少？

•安全性：榨汁过程中有无人体安全防护措施？有无漏电保护？

•可靠性：榨汁机能持续稳定运转多长时间？

•易用性：榨汁机的操作是否简单方便？

•。。。。。。

•酒店：

•建筑：客房、西餐厅、宴会厅、酒吧、健身房。。。。。。

•设施：配套设施的品牌、档次

•环境：交通、风景。。。。。。

•服务：服务品种、服务态度、响应客户要求的及时性。。。。。。

•。。。。。。

 

软件质量模型

（GB/T 16260-2006 /ISO 9126 : 2001）

•质量模型：一组特性及特性之间的关系，它提供规定质量需求和评价质量的基础

 

 软件测试与QA的区别

1. 从性质上看：

测试属于技术的工作

QA属于管理的工作

2. 从对象上看：

测试的对象是软件研发产品，大多数工作是对研发领域的检验

QA的对象是整个软件过程，覆盖各个领域

3.从手段上看：

测试以事后检查为主

QA强调的是缺陷预防

质量保证活动与软件测试的关系