zoukankan      html  css  js  c++  java
  • Api项目压力测试知识荟萃

    并发用户、在线用户和注册用户以及彼此之间的换算方法(估算模型)。系统的最大并发用户数根据注册用户数来获得,换算方法一般是注册总人数的5%-20%之间;系统的并发数根据在线人数来获得,换算方法一般是在30%左右;在线用户数理解为正在使用系统的用户数,而注册用户数是系统注册的人数,这个人数静态的。

    测试压力估算时采用如下原则:

    1、系统在线用户数取系统总用户数的20%;

    2、系统在线用户并发数取在线用户数的30%;

    二,如何测试网站最大并发数

    一个系统的最大并发用户数为1100,怎么能推算出该系统的支持最大用户数。
    其中用户性能要求如下:支持100万注册用户
    性能需求分析:
    1、根据用户的要求,本系统要支持100万用户,其中性能机器配置如何?高峰值是多少?带宽?等
    2、如果都是采用公司的测试环境,那么本次性能应该做哪几种性能?性能评测、负载测试、强度测试?
    3、怎么算出并发用户数响应时间
    性能指标确定:
    因为用户的性能需求太广,没有定到具体的数值。那么我怎么开展后继的工作?1、确定采用公司测试环境,不用考虑环境问题。也就是说,客户端、服务端以及带宽等一系统都可以不用考虑,这是固定。
    2、考虑此项目组以前开发过的系统性能情况,能否做为一个参考值。解决方案:找出本项目组以并发过二个项目,其性能个项指标进行求权。其中浏览功能:并发数为1100,平均响应时间363秒;每用户平均响应时间为0.33秒。每秒中并发3个用户。其中一系统用户已达500万,另一系统用户为320万。并且二系统一直运行正常,但目前的二系统的服务器各为3台。可以得出一台服务器为载166万,甚至更多。(因为服务器中有求权的关系)
    3、100万用户,那么怎么计算出他的每小时峰值活动用户数?
    解决方案:采用80•20原则计算得到每小时峰值活动用户数 6.667万/小时;那么每秒中的同一功能点点击并发数应该是18.5。
    4、怎么得其并发数?
    解决方案:本系统有多少个功能点?功能点为153个;也就是本系统在高峰值时一功能将被点击1258次,每秒点击0.35次。(不考虑间隔时间)考虑以前本项目组的数值。初步设置并发数为1100,主要以浏览功能为主、其次是查询和新增。
    5、应该测试那种性能类型经再三考虑,三种性能都进行测试。
    执行性能:
    评测,依据性能指标确定中的第三点,将用户的并发设置为300-350,看其情况。负载测试,以1100为起点强度测试,为15小时和24小时为准
    性能测试结果:
    发现本系统最大用户支持为1100.失败用户最高为209,响应时间为315。可以判断此系统最大并发数为1100左右。也就说此系统在一台服务器上可支持150万用户数。
    根据上述情况,可以得出:
    1100用户并发时,用户一共响应时间为315秒(即每用户平均响应时间0.005秒),其中最高产生209个失败用户,但成功用户基本上可以完成后续操作,符合现系统要求的最大稳定用户数。由此可得出本系统在新增功能点中支持最大用户并发数为1100。按照1*100比例,计算得到每小时峰值活动用户数11万/小时;采用80•20原则计算得出本系统支持注册用户数约为165万。而本系统性能需求大规模支持100万注册用户,由上述的数据我们的系统已达到本系统性能需求。
    注:100万,采用80•20原则计算得到每小时峰值活动用户数6.667万/小时。
    三,系统吞吐量(TPS)、用户并发量、性能测试概念和公式 http://www.ha97.com/5095.html

    并发用户数与TPS之间的关系  http://www.codeceo.com/article/users-and-tps.html

    1.  背景

    在做性能测试的时候,很多人都用并发用户数来衡量系统的性能,觉得系统能支撑的并发用户数越多,系统的性能就越好;对TPS不是非常理解,也根本不知道它们之间的关系,因此非常有必要进行解释。

    2.  术语定义

    Ø  并发用户数:指的是现实系统中操作业务的用户,在性能测试工具中,一般称为虚拟用户数(Virutal User),注意并发用户数跟注册用户数、在线用户数有很大差别的,并发用户数一定会对服务器产生压力的,而在线用户数只是 ”挂” 在系统上,对服务器不产生压力,注册用户数一般指的是数据库中存在的用户数。

    Ø  TPSTransaction Per Second, 每秒事务数, 是衡量系统性能的一个非常重要的指标,

    3.  Vu和TPS换算

    Ø  简单例子:在术语中解释了TPS是每秒事务数,但是事务时要靠虚拟用户做出来的,假如1个虚拟用户在1秒内完成1笔事务,那么TPS明显就是1;如果某笔业务响应时间是1ms,那么1个用户在1秒内能完成1000笔事务,TPS就是1000了;如果某笔业务响应时间是1s,那么1个用户在1秒内只能完成1笔事务,要想达到1000TPS,至少需要1000个用户;因此可以说1个用户可以产生1000TPS,1000个用户也可以产生1000TPS,无非是看响应时间快慢。

    Ø  复杂公式:

    试想一下复杂场景,多个脚本,每个脚本里面定义了多个事务(例如一个脚本里面有100个请求,我们把这100个连续请求叫做Action,只有第10个请求,第20个请求分别定义了事务10和事务20)具体公式如下:

    符号代表意义:

    Vui表示的是第i个脚本使用的并发用户数

    Rtj表示的是第i个脚本第j个事务花费的时间,此时间会影响整个Action时间

    Rti表示的是第i个脚本一次完成所有操作的时间,即Action时间

    n 表示的是第n个脚本

    m 表示的是每个脚本中m个事务

    那么第j个事务的TPS = Vui/Rti

    总的TPS= 

    4.  如何获取Vu和TPS

    Ø  并发用户数(Vu)获取

    新系统:没有历史数据作参考,只能通过业务部门进行评估。

    旧系统:对于已经上线的系统,可以选取高峰时刻,在一定时间内使用系统的人数,这些人数认为属于在线用户数,并发用户数取10%就可以了,例如在半个小时内,使用系统的用户数为10000,那么取10%作为并发用户数基本就够了。

    Ø  TPS获取

    新系统:没有历史数据作参考,只能通过业务部门进行评估。

    旧系统:对于已经上线的系统,可以选取高峰时刻,在5分钟或10分钟内,获取系统每笔交易的业务量和总业务量,按照单位时间内完成的笔数计算出TPS,即业务笔数/单位时间(5*60或10*60)

    5.  如何评价系统的性能

    针对服务器端的性能,以TPS为主来衡量系统的性能,并发用户数为辅来衡量系统的性能,如果必须要用并发用户数来衡量的话,需要一个前提,那就是交易在多长时间内完成,因为在系统负载不高的情况下,将思考时间(思考时间的值等于交易响应时间)加到脚本中,并发用户数基本可以增加一倍,因此用并发用户数来衡量系统的性能没太大的意义。

    6.  相关案例

    通过大量性能测试我们发现不需要用上万的用户并发去进行测试,只要系统处理业务时间足够快,几百个用户甚至几十个用户就可以达到目的。另外咨询很多专家做过的性能测试项目,基本都没有超过5000用户并发。

    因此对于大型系统、业务量非常高、硬件配置足够多的情况下,5000用户并发就足够了;对于中小型系统,1000用户并发就足够了。

    7.  性能测试策略

    做性能测试需要一套标准化流程及测试策略,并发用户数只是指标考虑的一个,在做负载测试的时候,一般都是按照梯度施压的方式去加用户数,而不是在没有预估的情况下,一次加几万个用户,,交易失败率非常高,响应时间非常长,已经超过了使用者忍受范围内,这样做没有多大的意义,这就好比“有多少钱可以干多少事”一样,需要选择相关的策略。

    8.  Loadrunner VS PTS

    从下图对比项可以看出,PTS比Loadrunner(LR)更能让客户接受。

    方向 对比项 Loadrunner PTS 备注

    基础设施

    被测系统软硬件环境需要额外购买? 需要 不需要 基础设施软硬件由阿里云提供,只需要购买服务
    压力机环境需要额外购买? 需要 不需要 基础设施软硬件由PTS提供,只需要购买服务

    费用

    费用 非常贵 便宜,按需收费 商业化工具License非常贵

    功能

    功能 强大 较强大 LR很多功能基本上用不到,没必要大马拉小车

    易用性

    操作、学习等 困难 容易 LR不易上手

    稳定性

    系统稳定性 较稳定 非常稳定 LR压测过程中经常出现莫名其妙错误

    场景模拟

    场景模拟条件 较真实 非常真实 PTS分布在全国各地的分布式集群可以真实模拟出现实场景,而LR不太容易模拟,即使可以的话,控制机和压力机通信经常掉线

    9.  总结

    Ø  系统的性能由TPS决定,跟并发用户数没有多大关系。在同样的TPS下,可以由不同的用户数去压(通过加思考时间设置)。

    Ø  系统的最大TPS是一定的(在一个范围内),但并发用户数不一定,可以调整。

    Ø  建议性能测试的时候,不要设置过长的思考时间,以最坏的情况下对服务器施压。

    Ø  一般情况下,大型系统(业务量大、机器多)做压力测试,5000个用户并发就够了,中小型系统做压力测试,1000个用户并发就足够了。

    下面是性能测试的主要概念和计算公式,记录下:

    一.系统吞度量要素:

      一个系统的吞度量(承压能力)与request对CPU的消耗、外部接口、IO等等紧密关联。

    单个reqeust 对CPU消耗越高,外部系统接口、IO影响速度越慢,系统吞吐能力越低,反之越高。

    系统吞吐量几个重要参数:QPS(TPS)、并发数、响应时间

            QPS(TPS):每秒钟request/事务 数量

            并发数: 系统同时处理的request/事务数

            响应时间:  一般取平均响应时间

    (很多人经常会把并发数和TPS理解混淆)

    理解了上面三个要素的意义之后,就能推算出它们之间的关系:

    QPS(TPS)= 并发数/平均响应时间

            一个系统吞吐量通常由QPS(TPS)、并发数两个因素决定,每套系统这两个值都有一个相对极限值,在应用场景访问压力下,只要某一项达到系统最高值,系统的吞吐量就上不去了,如果压力继续增大,系统的吞吐量反而会下降,原因是系统超负荷工作,上下文切换、内存等等其它消耗导致系统性能下降。

    决定系统响应时间要素

    我们做项目要排计划,可以多人同时并发做多项任务,也可以一个人或者多个人串行工作,始终会有一条关键路径,这条路径就是项目的工期。

    系统一次调用的响应时间跟项目计划一样,也有一条关键路径,这个关键路径是就是系统影响时间;

    关键路径是有CPU运算、IO、外部系统响应等等组成。

    二.系统吞吐量评估:

    我们在做系统设计的时候就需要考虑CPU运算、IO、外部系统响应因素造成的影响以及对系统性能的初步预估。

    而通常境况下,我们面对需求,我们评估出来的出来QPS、并发数之外,还有另外一个维度:日PV。

    通过观察系统的访问日志发现,在用户量很大的情况下,各个时间周期内的同一时间段的访问流量几乎一样。比如工作日的每天早上。只要能拿到日流量图和QPS我们就可以推算日流量。

    通常的技术方法:

            1. 找出系统的最高TPS和日PV,这两个要素有相对比较稳定的关系(除了放假、季节性因素影响之外)

            2. 通过压力测试或者经验预估,得出最高TPS,然后跟进1的关系,计算出系统最高的日吞吐量。B2B中文和淘宝面对的客户群不一样,这两个客户群的网络行为不应用,他们之间的TPS和PV关系比例也不一样。

    A)淘宝

    淘宝流量图:

    系统吞吐量评估方法

    淘宝的TPS和PV之间的关系通常为  最高TPS:PV大约为 1 : 11*3600 (相当于按最高TPS访问11个小时,这个是商品详情的场景,不同的应用场景会有一些不同)

    B) B2B中文站

    B2B的TPS和PV之间的关系不同的系统不同的应用场景比例变化比较大,粗略估计在1 : 8个小时左右的关系(09年对offerdetail的流量分析数据)。旺铺和offerdetail这两个比例相差很大,可能是因为爬虫暂的比例较高的原因导致。

    在淘宝环境下,假设我们压力测试出的TPS为100,那么这个系统的日吞吐量=100*11*3600=396万

    这个是在简单(单一url)的情况下,有些页面,一个页面有多个request,系统的实际吞吐量还要小。

    无论有无思考时间(T_think),测试所得的TPS值和并发虚拟用户数(U_concurrent)、Loadrunner读取的交易响应时间(T_response)之间有以下关系(稳定运行情况下):
    TPS=U_concurrent / (T_response+T_think)。

    并发数、QPS、平均响应时间三者之间关系

    系统吞吐量评估方法

    来源:http://www.cnblogs.com/jackei/

    软件性能测试的基本概念和计算公式

    一、软件性能的关注点

    对一个软件做性能测试时需要关注那些性能呢?

    我们想想在软件设计、部署、使用、维护中一共有哪些角色的参与,然后再考虑这些角色各自关注的性能点是什么,作为一个软件性能测试工程师,我们又该关注什么?

    首先,开发软件的目的是为了让用户使用,我们先站在用户的角度分析一下,用户需要关注哪些性能。

    对于用户来说,当点击一个按钮、链接或发出一条指令开始,到系统把结果已用户感知的形式展现出来为止,这个过程所消耗的时间是用户对这个软件性能的直观印象。也就是我们所说的响应时间,当相应时间较小时,用户体验是很好的,当然用户体验的响应时间包括个人主观因素和客观响应时间,在设计软件时,我们就需要考虑到如何更好地结合这两部分达到用户最佳的体验。如:用户在大数据量查询时,我们可以将先提取出来的数据展示给用户,在用户看的过程中继续进行数据检索,这时用户并不知道我们后台在做什么。

    用户关注的是用户操作的相应时间。

    其次,我们站在管理员的角度考虑需要关注的性能点。

    1、 相应时间
    2、 服务器资源使用情况是否合理
    3、 应用服务器和数据库资源使用是否合理
    4、 系统能否实现扩展
    5、 系统最多支持多少用户访问、系统最大业务处理量是多少
    6、 系统性能可能存在的瓶颈在哪里
    7、 更换那些设备可以提高性能
    8、 系统能否支持7×24小时的业务访问

    再次,站在开发(设计)人员角度去考虑。

    1、 架构设计是否合理
    2、 数据库设计是否合理
    3、 代码是否存在性能方面的问题
    4、 系统中是否有不合理的内存使用方式
    5、 系统中是否存在不合理的线程同步方式
    6、 系统中是否存在不合理的资源竞争

    那么站在性能测试工程师的角度,我们要关注什么呢?

    一句话,我们要关注以上所有的性能点。

    二、软件性能的几个主要术语

    1、响应时间:对请求作出响应所需要的时间

    网络传输时间:N1+N2+N3+N4

    应用服务器处理时间:A1+A3

    数据库服务器处理时间:A2

    响应时间=N1+N2+N3+N4+A1+A3+A2

    2、并发用户数的计算公式

    系统用户数:系统额定的用户数量,如一个OA系统,可能使用该系统的用户总数是5000个,那么这个数量,就是系统用户数。

    同时在线用户数:在一定的时间范围内,最大的同时在线用户数量。
    同时在线用户数=每秒请求数RPS(吞吐量)+并发连接数+平均用户思考时间

    平均并发用户数的计算:C=nL / T

    其中C是平均的并发用户数,n是平均每天访问用户数(login session),L是一天内用户从登录到退出的平均时间(login session的平均时间),T是考察时间长度(一天内多长时间有用户使用系统)

    并发用户数峰值计算:C^约等于C + 3*根号C

    其中C^是并发用户峰值,C是平均并发用户数,该公式遵循泊松分布理论。

    3、吞吐量的计算公式

    指单位时间内系统处理用户的请求数

    从业务角度看,吞吐量可以用:请求数/秒、页面数/秒、人数/天或处理业务数/小时等单位来衡量

    从网络角度看,吞吐量可以用:字节/秒来衡量

    对于交互式应用来说,吞吐量指标反映的是服务器承受的压力,他能够说明系统的负载能力

    以不同方式表达的吞吐量可以说明不同层次的问题,例如,以字节数/秒方式可以表示数要受网络基础设施、服务器架构、应用服务器制约等方面的瓶颈;已请求数/秒的方式表示主要是受应用服务器和应用代码的制约体现出的瓶颈。

    当没有遇到性能瓶颈的时候,吞吐量与虚拟用户数之间存在一定的联系,可以采用以下公式计算:F=VU * R /

    其中F为吞吐量,VU表示虚拟用户个数,R表示每个虚拟用户发出的请求数,T表示性能测试所用的时间

    4、性能计数器

    是描述服务器或操作系统性能的一些数据指标,如使用内存数、进程时间,在性能测试中发挥着“监控和分析”的作用,尤其是在分析统统可扩展性、进行新能瓶颈定位时有着非常关键的作用。

    资源利用率:指系统各种资源的使用情况,如cpu占用率为68%,内存占用率为55%,一般使用“资源实际使用/总的资源可用量”形成资源利用率。

    5、思考时间的计算公式

    Think Time,从业务角度来看,这个时间指用户进行操作时每个请求之间的时间间隔,而在做新能测试时,为了模拟这样的时间间隔,引入了思考时间这个概念,来更加真实的模拟用户的操作。

    在吞吐量这个公式中F=VU * R / T说明吞吐量F是VU数量、每个用户发出的请求数R和时间T的函数,而其中的R又可以用时间T和用户思考时间TS来计算:R = T / TS

    下面给出一个计算思考时间的一般步骤:

    A、首先计算出系统的并发用户数

    C=nL / T F=R×C

    B、统计出系统平均的吞吐量

    F=VU * R / T R×C = VU * R / T

    C、统计出平均每个用户发出的请求数量

    R=u*C*T/VU

    D、根据公式计算出思考时间

    TS=T/R

  • 相关阅读:
    NodeMCU快速上云集锦
    云数据库 MySQL 8.0 重磅发布,更适合企业使用场景的RDS数据库
    MySQL 8.0 技术详解
    为更强大而生的开源关系型数据库来了!阿里云RDS for MySQL 8.0 正式上线!
    阿里云CDN技术掌舵人文景:相爱相杀一路狂奔的这十年
    容器服务kubernetes federation v2实践五:多集群流量调度
    Helm V3 新版本发布
    Serverless助力AI计算:阿里云ACK Serverless/ECI发布GPU容器实例
    详解TableStore模糊查询——以订单场景为例
    洛谷P2727 01串 Stringsobits
  • 原文地址:https://www.cnblogs.com/jimcsharp/p/5948049.html
Copyright © 2011-2022 走看看