zoukankan      html  css  js  c++  java
  • Kafka性能测试

    背景

    kafka提供了性能吞吐量测试脚本,分别是 kafka-producer-perf-test.sh 和 kafka-consumer-perf-test.sh,通过该脚本可以对生产者性能和消费者性能进行测试。

    环境

    centos7    1C     1G

    3Broker在同一台机器

    测试参数

    生产者测试参数

    参数 说明
    --topic 指定生产者发送消息的topic
    --throughput 每秒发送的最大消息数
    --record-size 每条消息字节数
    --producer-props 通过键值对的方式指定配置属性,多组属性用空格分隔。一般只配置bootstrap.servers
    --num-records 测试时发送消息的总记录数

     测试者测试参数

    参数 说明
    --topic 指定消费者接收消息的topic

    --thread

    指定线程数
    --messages 接收消息总记录数
    --group 消费者组
    --bootstrap-server kafka服务ip:port

     

     测试实例

    一个分区,两个副本

    1、创建topic

    ./kafka-topics.sh --create --topic t1-test --zookeeper 192.168.56.101:2181 --partitions 1 --replication-factor 2

    2、生产者测试

    ./kafka-producer-perf-test.sh --topic t1-test --num-records 1000000 --record-size 1000 --throughput 50000 --producer-props bootstrap.servers=192.168.56.101:9092

    3、消费者测试:

    ./kafka-consumer-perf-test.sh --bootstrap-server 192.168.56.101:9092 --group g1-test --messages 1000000 --topic t1-test

    三个分区,两个副本

    1、创建topic

    ./kafka-topics.sh --create --topic t3-test --zookeeper 192.168.56.101:2181 --partitions 3 --replication-factor 2

    2、生产者测试

    ./kafka-producer-perf-test.sh --topic t3-test --num-records 1000000 --record-size 1000 --throughput 50000 --producer-props bootstrap.servers=192.168.56.101:9092

    3、消费者测试:

    ./kafka-consumer-perf-test.sh --bootstrap-server 192.168.56.101:9092 --group g3-test --messages 1000000 --topic t3-test

    参考地址:kafka性能测试实例

    知识改变世界
  • 相关阅读:
    JS开发技巧
    Git push 常见用法
    关闭浏览器标签
    vue 样式穿透 watch深度监听
    Git Commit Template 提交模板
    常用git stash命令:
    Windows下安装及使用NVM
    JS正则表达式
    js转码
    多行文本溢出显示省略号(…)全攻略
  • 原文地址:https://www.cnblogs.com/xuwenjin/p/15213311.html
Copyright © 2011-2022 走看看