zoukankan      html  css  js  c++  java
  • Kafka查看topic、consumer group状态命令

    1,查看kafka topic列表,使用--list参数

    bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --list
    __consumer_offsets
    test_topic
    test

    2,查看kafka特定topic的详情,使用--topic与--describe参数

    bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic lx_test_topic --describe
    Topic:test_topic     PartitionCount:1        ReplicationFactor:1     Configs:
    Topic: test_topic    Partition: 0    Leader: 0       Replicas: 0     Isr: 0

    列出了test_topic的parition数量、replica因子以及每个partition的leader、replica信息

    3,查看consumer group列表,使用--list参数

    查看consumer group列表有新、旧两种命令,分别查看新版(信息保存在broker中)consumer列表和老版(信息保存在zookeeper中)consumer列表,因而需要区分指定bootstrap--server和zookeeper参数:

    bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 127.0.0.1:9092 --list
    test
    bin/kafka-consumer-groups.sh --zookeeper 127.0.0.1:2181 --list
    console-consumer-86532
    console-consumer-14251

    4,查看特定consumer group 详情,使用--group与--describe参数

    同样根据新/旧版本的consumer,分别指定bootstrap-server与zookeeper参数:

    bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 127.0.0.1:9092 --group  test --describe
    GROUP                          TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET     LAG                OWNER
    test                        test_topic             0          465             465              0               kafka-python-1.3.1_/127.0.0.1

    LOG-END-OFFSET 未增加,说明没有数据生成进入到kafka,反之
    CURRENT-OFFSET的值等于LOG-END-OFFSET,则说明进入kafka的数据已经被消费掉了
    bin/kafka-consumer-groups.sh --zookeeper 127.0.0.1:2181 --group console-consumer-14251 --describe
    GROUP                          TOPIC                          PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             OWNER
    Could not fetch offset from zookeeper for group console-consumer-14251 partition [test_topic,0] due to missing offset data in zookeeper.
    console-consumer-14251         test_topic             0          unknown         465             unknown         console-consumer-14251-1513787888172-d3a91f05-0
    复制代码

    其中依次展示group名称、消费的topic名称、partition id、consumer group最后一次提交的offset、最后提交的生产消息offset、消费offset与生产offset之间的差值、当前消费topic-partition的group成员id(不一定包含hostname)

    上面示例中console-consumer-14251是为了测试临时起的一个console consumer,缺少在zookeeper中保存的current_offset信息。

  • 相关阅读:
    MFC中控制Tips的显示
    VC++6.0/MFC 自定义edit 限制输入内容 响应复制粘贴全选剪切的功能
    VC++6.0/MFC中如何限制Edit控件输入 例子,只能输入0和1
    Windows安装配置php+memcached的方法
    mrg_myIsam分表引擎用法
    用PHP做服务器接口客户端用http协议POST访问安全性一般怎么做
    PHP慢脚本日志和Mysql的慢查询日志(转)
    nginx 配置优化的几个参数
    static详解
    Redis命令总结
  • 原文地址:https://www.cnblogs.com/timor19/p/12742362.html
Copyright © 2011-2022 走看看