zoukankan      html  css  js  c++  java
  • Web Service 性能测试工具比较

    背景

    希望选择一款Web Service性能测试工具,能真实模拟大量用户访问网站时的请求,从而获取服务器当前的请求处理能力(请求数/秒)。
    以微信服务器为例,每个用户用独立的登录token,做各种操作,比如刷消息、发消息、看朋友圈等。

    希望该性能测试工具符合如下要求:

    1. 测试脚本能力,最好是Python/Ruby等最常用的
    2. 每个并发实例能使用不同参数
    3. CLI启动测试,这对自动化测试很重要
    4. Session支持,也就是第一个请求的响应,能用于后续请求的参数。
    6. 单个结点的并发数量高。
    7. 分布式支持,不受限于单个结点的计算能力。

    性能测试工具选手:

    Gatling

    http://gatling.io/

    Gatling是一款基于Scala 开发的高性能服务器性能测试工具,它主要用于对服务器进行负载等测试,并分析和测量服务器的各种性能指标。Gatling主要用于测量基于HTTP的服务器,比如Web应用程序,RESTful服务等,除此之外它拥有以下特点:

    • 支持Akka Actors 和 Async IO,从而能达到很高的性能
    • 支持实时生成Html动态轻量报表,从而使报表更易阅读和进行数据分析
    • 支持DSL脚本,从而使测试脚本更易开发与维护
    • 支持录制并生成测试脚本,从而可以方便的生成测试脚本
    • 支持导入HAR(Http Archive)并生成测试脚本
    • 支持Maven,Eclipse,IntelliJ等,以便于开发
    • 支持Jenkins,以便于进行持续集成
    • 支持插件,从而可以扩展其功能,比如可以扩展对其他协议的支持
    • 开源免费

    测试场景示例:
    http://gatling.io/docs/2.1.7/advanced_tutorial.html

    object Search {
    
      val feeder = csv("search.csv").random // 1, 2
    
      val search = exec(http("Home")
        .get("/"))
        .pause(1)
        .feed(feeder) // 3
        .exec(http("Search")
        .get("/computers?f=${searchCriterion}") // 4
        .check(css("a:contains('${searchComputerName}')", "href").saveAs("computerURL"))) // 5
        .pause(1)
        .exec(http("Select")
        .get("${computerURL}")) // 6
        .pause(1)
    }

    统计图:

     

    nGrinder

    官网很卡,真的很卡...zzz...

    http://naver.github.io/ngrinder/

    nGrinder是一个基于 Grinder 开发的一个非常易于管理和使用的性能测试系统。

    它是由一个controller和连接它的多个agent组成,用户可以通过web界面管理和控制测试,以及查看测试报告,controller会把测试分发到一个或多个agent去执行。用户可以设置使用多个进程和线程来并发的执行该脚本,而且在同一线程中,来重复不断的执行测试脚本,来模拟很多并发用户。

    nGrinder的测试是基于一个python的测试脚本,用户按照一定规则编写测试脚本以后,controller会将脚本以及需要的其他文件分发到agent,用Jython执行。并在执行过程中收集运行情况、响应时间、测试目标服务器的运行情况等。并保存这些数据生成运行报告,以供以后查看。

    nGrinder的一大特点就是非常容易使用,安装也非常容易,可以做到开箱即用,测试用户也可以很容易就开始测试任务。当然,如果想执行一些比较复杂场景的性能测试,就需要测试人员对python有一定认识。

    测试场景示例:
    http://grinder.sourceforge.net/faq.html#simulating-users

    #
    # testRandomise.py
    #
    import random
    import string
    
    class TestRandomise:
      def __init__(self, filename):
        self._users = []
        infile = open(filename, "r")
    
        for line in infile.readlines():
          self._users.append(string.split((line),','))
        infile.close()
    
      def getUserInfo(self):
        "Pick a random (user, password) from the list."
        return random.choice(self._users)
    
    
    #
    # Test script. Originally recorded by the TCPProxy.
    #
    from testRandomise import TestRandomise
    tre = TestRandomise("users.txt")
    
    class TestRunner:
        def __call__(self):
            # Get user for this run.
            (user, passwd) = tre.getUserInfo()
    
      # ...
    
      # Use the user details to log in.
    
            tests[2002].POST('https://host:443/securityservlet',
              ( NVPair('functionname', 'Login'),
                NVPair('pagename', 'Login'),
                NVPair('ms_emailAddress', user),
                NVPair('ms_password', passwd), ))

    统计图:

     

    Locust

    http://locust.io/

    Locust 是一个开源负载测试工具。使用 Python 代码定义用户行为,也可以仿真百万个用户。

    Locust 是非常简单易用,分布式,用户负载测试工具。Locust 主要为网站或者其他系统进行负载测试,能测试出一个系统可以并发处理多少用户。

    Locust 是完全基于时间的,因此单个机器支持几千个并发用户。相比其他许多事件驱动的应用,Locust 不使用回调,而是使用轻量级的处理方式 gevent。

    测试场景示例:
    http://docs.locust.io/en/latest/quickstart.html#example-locustfile-py

    from locust import HttpLocust, TaskSet
    
    def login(l):
        l.client.post("/login", {"username":"ellen_key", "password":"education"})
    
    def index(l):
        l.client.get("/")
    
    def profile(l):
        l.client.get("/profile")
    
    class UserBehavior(TaskSet):
        tasks = {index:2, profile:1}
    
        def on_start(self):
            login(self)
    
    class WebsiteUser(HttpLocust):
        task_set = UserBehavior
        min_wait=5000
        max_wait=9000

    统计图:

     

    其他未参与比较的工具

    因为没有脚本能力或CLI,所以未加入比较

    • JMeter
    • ApacheBench(ab)
    • Tsung

    Locust作者对JMeter和Tsung发的牢骚:

    http://my.oschina.net/u/1433482/blog/464092#OSC_h4_3

    我们研究了现有的解决方案,都不符合要求。比如Apache JMeter和Tsung。 

    JMeter基于UI操作,容易上手,但基本上不具备编程能力。其次JMeter基于线程,要模拟数千用户几乎不可能。 

    Tsung基于Erlang,能模拟上千用户并易于扩展,但它基于XML的DSL,描述场景能力弱,且需要大量的数据处理才知道测试结果。

    比较

    比较科目x工具矩阵

     

    结论

    很明显,首选的全能选手就是 Gatling ,Akka Actor的并发模型就是来自于并发语言的鼻祖Erlang。

    如果想自己扩展性能测试工具,那么Locust这个小而精的工具可以考虑。

    nGrinder工具是韩国版微信Line开源的,并且专门开设了中文论坛,由韩国工程师回答中国开发者。但有两个问题,一是官网太卡,其二示例都是片段不完整。

    各位同学参照上面的对比,自己各取所需吧。

    转载地址:https://testerhome.com/topics/3003

  • 相关阅读:
    微服务架构 ------ DockerCompose从安装到项目部署
    微服务架构 ------ Dockerfile定制镜像
    微服务架构 ------ Ubuntu下Docker的安装
    微服务架构 ------ 插曲 linux LVM磁盘扩容
    Ubuntu java环境变量配置
    微服务架构 ------ 插曲 hikari连接池的配置
    微服务架构 ------ 插曲 Mybatis逆向工程
    微服务架构 ------ 插曲 Linux平台 Ubuntu的安装
    微服务架构 ------ Day01 微服务架构优缺点
    k8s配置storage-class
  • 原文地址:https://www.cnblogs.com/ceshi2016/p/6031430.html
Copyright © 2011-2022 走看看