zoukankan      html  css  js  c++  java
  • storm-kafka组件中KafkaOffsetMetric相关统计指标说明

    storm-kafka组件中KafkaOffsetMetric相关统计指标说明

    storm-kafka是storm提供的一个读取kakfa的组件,用于从kafka队列中消费数据。KafkaOffsetMetric是storm-kafka中关于消费状态的Metric。本文将介绍KafkaOffsetMetric中的各个指标。

    下面是kafka-spout 关于KafkaOffsetMetric 相关指标的示例:

    {
        partition_3/latestTimeOffset=631044351,
        totalLatestTimeOffset=1031834482,
        totalSpoutLag=0,
        totalLatestEmittedOffset=1031834482,
        totalEarliestTimeOffset=1031834482,
        partition_3/latestEmittedOffset=631044351,
        partition_1/latestEmittedOffset=400790131,
        partition_3/earliestTimeOffset=631044351,
        partition_1/latestTimeOffset=400790131,
        partition_3/spoutLag=0,
        partition_1/earliestTimeOffset=400790131,
        partition_1/spoutLag=0
    }
    

    1.每个partition的消费状态相关指标

    partition_3/latestTimeOffset=631044351,   #该分区最新的offset,
    partition_3/latestEmittedOffset=631044351,#该分区最新的消费的offst
    partition_3/earliestTimeOffset=631044351, #该分区最早的offset,
    partition_3/spoutLag=0,                   #该分区消费的延迟:spoutLag= latestTimeOffset - latestEmittedOffset;
    

    2. 整体的消费状态相关指标

    totalLatestTimeOffset=1031834482,          #totalLatestTimeOffset += latestTimeOffset;          一个topic所有分区最新的offset值之和。
    totalLatestEmittedOffset=1031834482,     #totalLatestEmittedOffset += latestEmittedOffset;  一个topic所有分区最新的消费的offset值之和。
    totalEarliestTimeOffset=1031834482,        #totalEarliestTimeOffset += earliestTimeOffset;       一个topic所有分区最早的offset值之和。
    totalSpoutLag=0,                                       #totalSpoutLag += spoutLag;                                  该topic消费的延迟
  • 相关阅读:
    通过修改注册表建立Windows自定义协议
    cmd命令大全
    Sql Server 2012 存储过程的调试
    C#.Net环境下的缓存技术
    WCF引用方式之IIS方式寄宿服务
    关于WCF引用方式之WCF服务寄宿控制台
    tcp_tw_recycle和tcp_timestamps导致connect失败问题
    TCP短连接TIME_WAIT问题解决方法大全
    打开tcp_tw_recycle引起的一个问题
    TCP三次握手,什么情况下client会回复reset
  • 原文地址:https://www.cnblogs.com/honeybee/p/5728263.html
Copyright © 2011-2022 走看看