zoukankan      html  css  js  c++  java
  • 查看kafka消息消费情况

    查看主题命令

    展示topic列表

    ./kafka-topics.sh --list --zookeeper 172.18.153.12:2188

    描述topic

    ./kafka-topics.sh --describe --zookeeper 172.18.153.12:2188 --topic test

    查看topic某分区偏移量最大(小)值

    ./kafka-run-class.sh kafka.tools.GetOffsetShell --topic test --time -1 --broker-list 10.1.3.84:9098 --partitions 0

    增加topic分区数

    ./kafka-topics.sh --zookeeper 172.18.153.12:2188 --alter --topic test --partitions 10

    删除topic:慎用,只会删除zookeeper中的元数据,消息文件须手动删除

    方法一:
    ./kafka-topics.sh --delete --zookeeper 172.18.153.12:2188 --topic test
    方法二:待验证
    ./kafka-run-class.sh kafka.admin.DeleteTopicCommand --zookeeper 172.18.153.12:2188 --topic test

    查看topic消费进度,必须参数为--group, 不指定--topic,默认为所有topic,

    ./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group group1

    列出所有主题中的所有用户组:

    ./kafka-consumer-groups.sh --bootstrap-server 10.1.3.84:9098 --list

    要使用ConsumerOffsetChecker查看上一个示例中消费者组的偏移量,我们按如下所示“describe”消费者组:

    ./kafka-consumer-groups.sh --bootstrap-server 10.1.3.84:9098 --describe --group group1

    -members: 此选项提供使用者组中所有活动成员的列表。

    ./kafka-consumer-groups.sh --bootstrap-server 10.1.3.84:9098 --describe --group group1 --members

    查看kafka消息消费情况

    消息堆积是消费滞后(Lag)的一种表现形式,消息中间件服务端中所留存的消息与消费掉的消息之间的差值即为消息堆积量,也称之为消费滞后(Lag)量。
    对于Kafka而言,消息被发送至Topic中,而Topic又分成了多个分区(Partition),每一个Partition都有一个预写式的日志文件,虽然Partition可以继续细分为若干个段文件(Segment),但是对于上层应用来说可以将Partition看成最小的存储单元(一个由多个Segment文件拼接的“巨型文件”)。
    每个Partition都由一系列有序的、不可变的消息组成,这些消息被连续的追加到Partition中。我们来看下图,其就是Partition的一个真实写照:
    file

    上图中有四个概念:

    LogStartOffset:表示一个Partition的起始位移,初始为0,虽然消息的增加以及日志清除策略的影响,这个值会阶段性的增大。
    ConsumerOffset:消费位移,表示Partition的某个消费者消费到的位移位置。
    HighWatermark:简称HW,代表消费端所能“观察”到的Partition的最高日志位移,HW大于等于ConsumerOffset的值。
    LogEndOffset:简称LEO, 代表Partition的最高日志位移,其值对消费者不可见。

    比如在ISR(In-Sync-Replicas)副本数等于3的情况下(如下图所示),消息发送到Leader A之后会更新LEO的值,Follower B和Follower C也会实时拉取Leader A中的消息来更新自己,HW就表示A、B、C三者同时达到的日志位移,也就是A、B、C三者中LEO最小的那个值。由于B、C拉取A消息之间延时问题,所以HW必然不会一直与Leader的LEO相等,即LEO>=HW。
    file

    要计算Kafka中某个消费者的滞后量很简单,首先看看其消费了几个Topic,然后针对每个Topic来计算其中每个Partition的Lag,每个Partition的Lag计算就显得非常的简单了,参考下图:
    file

    由图可知消费Lag=HW - ConsumerOffset。Kafka中自带的kafka-consumer_groups.sh脚本中就有Lag的信息,示例如下:

    [root@node2 kafka_2.12-1.0.0]# bin/kafka-consumer-groups.sh --describe --bootstrap-server localhost:9092 --group CONSUMER_GROUP_ID

    TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST CLIENT-ID
    topic-test1 0 1648 1648 0 CLIENT_ID-e2d41f8d-dbd2-4f0e-9239-efacb55c6261 /192.168.92.1 CLIENT_ID
    topic-test1 1 1648 1648 0 CLIENT_ID-e2d41f8d-dbd2-4f0e-9239-efacb55c6261 /192.168.92.1 CLIENT_ID
    topic-test1 2 1648 1648 0 CLIENT_ID-e2d41f8d-dbd2-4f0e-9239-efacb55c6261 /192.168.92.1 CLIENT_ID
    topic-test1 3 1648 1648 0 CLIENT_ID-e2d41f8d-dbd2-4f0e-9239-efacb55c6261 /192.168.92.1 CLIENT_ID

    参考:
    Kafka的Lag计算误区及正确实现:https://blog.csdn.net/u013256816/article/details/79955578
    如何使用JMX监控Kafka:https://blog.csdn.net/u013256816/article/details/53524884

  • 相关阅读:
    webservice 测试窗体只能用于来自本地计算机的请求
    未能加载文件或程序集system.web.extensions解决方法
    VS2010中水晶报表应用及实例
    存储过程
    Windows下wamp的配置问题(php初学者必看!!)
    IIS附加进程在Visual Studio 2010 中进行调试(高级)
    求职之(1)各公司待遇~~可能有点老了
    编译原理之(2)C++词法文件,语法文件
    STL笔记(4)关于erase,remove
    STL笔记(6)标准库:标准库中的排序算法
  • 原文地址:https://www.cnblogs.com/chen-chen-chen/p/12176980.html
Copyright © 2011-2022 走看看