Running Locust in Step Load Mode
If you want to monitor your service performance with different user load and probe the max tps that can be achieved, you can run Locust with Step Load enabled with --step-load:
如果你想分阶段递增并发用户数压测，找到系统最大的QPS，你可以用--step-load --step-users XX --step-time XX命令，不用再手动去增加用户数和压测时间。
譬如：
locust -f D:api_locustfm_apilocust_apiXXX.py --master --master-bind-port 9800 --headless -u 800 -r 50 --expect-worker 10 -t 50m -s 10 --step-load --step-users 200 --step-time 10m --csv D:locustlog
总共发起800并发请求，每秒启动50个用户，当启动到200用户数时，持续运行10分钟，运行步骤大致如下：
（1）4s启动到200
（2）200用户数：10分钟
（3）4s启动到400
（4）400用户数：10分钟
（5）4s启动到600
（6）600用户数：10分钟
（7）4s启动到800
（8）800用户数：10分钟
（9）800用户数：50-40=10分钟（小于10分钟）
压测结果如图：
可以得出系统qps最大也就550左右，后边随着并发数提升没有提升，唯一提升是平均响应时间。
通过 --step-load --step-users这样的命令就不用再折腾弄命令了。
关于压测结果图的生成，也很简单的，上面的压测命令会把压测的历史记录写到csv文件里，
读取csv文件再生成报表即可：
python用到的模块pyecharts
pyecharts文档地址：http://pyecharts.org/#/zh-cn/intro
贴个代码示例：
1 # -*- coding = utf-8 -*- 2 # ------------------------------ 3 # @time: 2020/8/15 16:05 4 # @Author: drew_gg 5 # @File: deal_csv.py 6 # @Software: api_locust 7 # ------------------------------ 8 9 import os 10 import time 11 import csv 12 import datetime 13 from pyecharts.charts import Line 14 from pyecharts import options as opts 15 from pyecharts.globals import ThemeType 16 17 """ 18 # pyecharts使用文档 19 # http://pyecharts.org/#/zh-cn/intro 20 """ 21 22 pl = os.getcwd().split('api_locust') 23 path_html = pl[0] + 'api_locust\resource\html\' 24 25 26 def report(interface_name, history_csv, stats_csv): 27 """ 28 locust生成报表 29 :param interface_name: 30 :param history_csv: 31 :param stats_csv: 32 :return: 33 """ 34 tm = [] 35 uc = [] 36 qps = [] 37 fps = [] 38 avg_time = [] 39 all_r = '' 40 all_qps = '' 41 all_avg_time = '' 42 with open(history_csv, 'r') as f: 43 hc = csv.reader(f) 44 for x, i in enumerate(list(hc)): 45 if i: 46 if x != 0: 47 tm.append(time.strftime('%H:%M:%S', time.localtime(int(i[0])))) 48 uc.append(str(round(float(i[1]), 2))) 49 qps.append(str(round(float(i[4]), 2))) 50 fps.append(str(round(float(i[5]), 2))) 51 avg_time.append(str(round(float(i[20]), 2))) 52 with open(stats_csv, 'r') as f: 53 sc = csv.reader(f) 54 for x, i in enumerate(list(sc)): 55 if x != 0 and len(i) != 0: 56 all_r = str(i[2]) 57 all_qps = str(round(float(i[9]), 2)) 58 all_avg_time = str(round(float(i[5]), 2)) 59 locust_title = "[{0}]压测情况：[ARC：{1}, QPS: {2}, AVT: {3}]".format(interface_name, all_r, all_qps, all_avg_time) 60 locust_html_name = path_html + interface_name + str(datetime.datetime.now().strftime('%m%d%H%M%S')) + '.html' 61 line = ( 62 Line(init_opts=opts.InitOpts(theme=ThemeType.CHALK, width="1800px", height="800px")) 63 .add_xaxis(tm) 64 .add_yaxis('user', uc, is_smooth=True) 65 .add_yaxis('qps', qps, is_smooth=True) 66 .add_yaxis('fps', fps, is_smooth=True) 67 .add_yaxis('avg_t', avg_time, is_smooth=True) 68 .set_global_opts( 69 title_opts=opts.TitleOpts(title=locust_title), 70 tooltip_opts=opts.TooltipOpts(trigger="axis"), 71 toolbox_opts=opts.ToolboxOpts(is_show=True, orient="vertical", pos_left="1%", pos_top="10%"), 72 xaxis_opts=opts.AxisOpts(type_="category", boundary_gap=False,), 73 ) 74 ) 75 line.render(locust_html_name) 76 77 78 if __name__ == "__main__": 79 stats = "D:\api_locust\resource\csv\locust_exhibition_home.py0826095139_stats.csv" 80 history = "D:\api_locust\resource\csv\locust_exhibition_home.py0826095139_stats_history.csv" 81 report('a', history, stats)
关于报表的生成，不懂的自行去文档地址仔细研究研究，挺全的，各种报表样式都有。
另外，如果是分布式压测的话，不要手动去启动命令，自己写个py去自动创建生成多好：
1 # -*- coding = utf-8 -*- 2 # ------------------------------ 3 # @time: 2020/8/15 16:05 4 # @Author: drew_gg 5 # @File: locust_main.py 6 # @Software: api_locust 7 # ------------------------------ 8 9 import datetime 10 import subprocess 11 12 13 class CoverLocust: 14 """ 15 封面压测封装类 16 """ 17 def __init__(self, ltp): 18 """ 19 初始化压测参数 20 :param ltp: 参数字典 21 """ 22 self.user = ltp['user'] 23 self.r = ltp['r'] 24 self.slave = ltp['slave'] 25 self.m_time = ltp['m_time'] 26 self.port = ltp['port'] 27 self.master_host = ltp['master_host'] 28 self.csv = ltp['csv'] 29 self.master_script = ltp['master_script'] 30 self.slave_script = ltp['slave_script'] 31 self.step_u = ltp['step_u'] 32 self.step_t = ltp['step_t'] 33 # 定义csv文件名称 34 self.csv_name = ltp["master_script"].split('\')[-1] + str(datetime.datetime.now().strftime('%m%d%H%M%S')) 35 self.csv_path = ltp['csv'] + self.csv_name 36 # 输出压测结果目录文件 37 self.stats_history_csv = self.csv_path + '_stats_history.csv' 38 self.stats_csv = self.csv_path + '_stats.csv' 39 self.failures_csv = self.csv_path + '_failures.csv' 40 41 # 生成master命令 42 def locust_master(self): 43 """ 44 运行master指令 45 :return: 46 """ 47 master_cmd = "locust -f %s --master --master-bind-port %s --headless " % (self.master_script, self.port) 48 master_pra = "-u %s -r %s --expect-worker %s -t %s -s 10 --step-load --step-users %s --step-time %s --csv %s " 49 % (self.user, self.r, self.slave, self.m_time, self.step_u, self.step_t, self.csv_path) 50 master_cmd = master_cmd + master_pra 51 print(master_cmd) 52 subprocess.Popen(master_cmd, creationflags=subprocess.CREATE_NEW_CONSOLE) 53 return self.stats_history_csv, self.stats_csv, self.failures_csv, self.csv_name 54 55 # 生成slave命令 56 def locust_slave(self, slave_num): 57 """ 58 运行slave指令 59 :param slave_num: 60 :return: 61 """ 62 slave_cmd = "locust -f %s --master-host %s --master-port %s --headless --worker" % (self.slave_script, self.master_host, self.port) 63 print(slave_cmd) 64 for i in range(slave_num): 65 subprocess.Popen(slave_cmd, creationflags=subprocess.CREATE_NEW_CONSOLE) 66 67 # 杀掉压测进程 68 @classmethod 69 def close_process(cls): 70 """ 71 杀掉命令进程 72 :return: 73 """ 74 import os 75 os.system('taskkill /IM locust.exe /F')
1 # -*- coding = utf-8 -*- 2 # ------------------------------ 3 # @time: 2020/8/18 20:36 4 # @Author: drew_gg 5 # @File: locust_run.py 6 # @Software: api_locust 7 # ------------------------------ 8 9 import os 10 import time 11 from run_locust import locust_main as locust_m 12 from locust_common.common_excel import deal_csv as report 13 14 pl = os.getcwd().split('api_locust') 15 path_csv = pl[0] + 'api_locust\resource\csv\' 16 path_script = pl[0] + 'api_locust\locust_view\kbh_api\locust_api\' 17 script_name = "locust_exhibition_home.py" 18 19 # ************************************需维护更改的参数****************************# 20 # 并发数 21 user = 1400 22 # 每秒启动用户数 23 rate = 200 24 # 分布式压测启动的slave数量 25 num_slave = 10 26 # 本次压测执行的时长:h,m,s 27 run_time = '25m' 28 # master所在host/ip 29 master_host = "10.111.53.123" 30 # master 执行脚本 31 master_script = path_script + script_name 32 # slave 执行脚本 33 slave_script = path_script + script_name 34 # # csv存储文件的目录 35 # csv_path = path_csv + script_name.split('.')[0] + '_log\' 36 # 递压用户数 37 step_user = 400 38 # 递压持续时间 39 step_time = '5m' 40 # ************************************需维护更改的参数****************************# 41 42 43 locust_p = { 44 'user': user, 45 "r": rate, 46 "slave": num_slave, 47 "m_time": run_time, 48 "port": 9800, 49 "master_host": master_host, 50 "csv": path_csv, 51 "master_script": master_script, 52 "slave_script": slave_script, 53 "step_u": step_user, 54 "step_t": step_time 55 } 56 57 if __name__ == "__main__": 58 59 # *****************执行脚本标识*******************# 60 sign = "master" 61 # sign = "slave" 62 # *****************执行脚本标识*******************# 63 lm = locust_m.CoverLocust(locust_p) 64 lm.close_process() 65 if sign == "master": 66 # 启动master 67 history_csv, stats_csv, failures_csv, csv_name = lm.locust_master() 68 sleep_time = int(run_time[:-1]) 69 # 延迟30s读取csv文件 70 if run_time[-1] == 'h': 71 sleep_time = sleep_time * 60 * 60 + 30 72 if run_time[-1] == 'm': 73 sleep_time = sleep_time * 60 + 30 74 if run_time[-1] == 's': 75 sleep_time = sleep_time + 30 76 time.sleep(sleep_time) 77 # 生成报表 78 report.report(script_name.split('.')[0], history_csv, stats_csv) 79 if sign == "slave": 80 # 启动slave 分多台跑的话需要用num_slave除以台数 81 slave_num = int(num_slave/2) 82 lm.locust_slave(slave_num)
这样要修改啥，直接修改就行，也可以自己写个页面，点一下按钮就可以压测。
上面的这个压测结果图：
这个说明QPS还有升高的空间，目前的并发数还没到达瓶颈，还得再提升并发数【平均响应时间没有急剧提升】。当然，这个地方设置的between(0,0.5)，
所以会出现800的并发结果qps达到960以上。