zoukankan      html  css  js  c++  java
  • Kafka性能测试

    背景

    kafka提供了性能吞吐量测试脚本,分别是 kafka-producer-perf-test.sh 和 kafka-consumer-perf-test.sh,通过该脚本可以对生产者性能和消费者性能进行测试。

    环境

    centos7    1C     1G

    3Broker在同一台机器

    测试参数

    生产者测试参数

    参数 说明
    --topic 指定生产者发送消息的topic
    --throughput 每秒发送的最大消息数
    --record-size 每条消息字节数
    --producer-props 通过键值对的方式指定配置属性,多组属性用空格分隔。一般只配置bootstrap.servers
    --num-records 测试时发送消息的总记录数

     测试者测试参数

    参数 说明
    --topic 指定消费者接收消息的topic

    --thread

    指定线程数
    --messages 接收消息总记录数
    --group 消费者组
    --bootstrap-server kafka服务ip:port

     

     测试实例

    一个分区,两个副本

    1、创建topic

    ./kafka-topics.sh --create --topic t1-test --zookeeper 192.168.56.101:2181 --partitions 1 --replication-factor 2

    2、生产者测试

    ./kafka-producer-perf-test.sh --topic t1-test --num-records 1000000 --record-size 1000 --throughput 50000 --producer-props bootstrap.servers=192.168.56.101:9092

    3、消费者测试:

    ./kafka-consumer-perf-test.sh --bootstrap-server 192.168.56.101:9092 --group g1-test --messages 1000000 --topic t1-test

    三个分区,两个副本

    1、创建topic

    ./kafka-topics.sh --create --topic t3-test --zookeeper 192.168.56.101:2181 --partitions 3 --replication-factor 2

    2、生产者测试

    ./kafka-producer-perf-test.sh --topic t3-test --num-records 1000000 --record-size 1000 --throughput 50000 --producer-props bootstrap.servers=192.168.56.101:9092

    3、消费者测试:

    ./kafka-consumer-perf-test.sh --bootstrap-server 192.168.56.101:9092 --group g3-test --messages 1000000 --topic t3-test

    参考地址:kafka性能测试实例

    知识改变世界
  • 相关阅读:
    201920201学期 20192410《网络空间安全专业导论》第一周学习总结
    201920201学期 20192410《网络空间安全专业导论》第二周学习总结
    Oracle trunc()函数的用法
    20130528
    让ListBox控件支持拖动
    幸福是什么
    实例解析C++/CLI程序进程之间的通讯
    Boost源码剖析之:容器赋值assign
    VC++ MFC 多线程及线程同步
    MFC下窗口分割和文字输出的实现
  • 原文地址:https://www.cnblogs.com/xuwenjin/p/15213311.html
Copyright © 2011-2022 走看看