zoukankan      html  css  js  c++  java
  • storm-kafka组件中KafkaOffsetMetric相关统计指标说明

    storm-kafka组件中KafkaOffsetMetric相关统计指标说明

    storm-kafka是storm提供的一个读取kakfa的组件,用于从kafka队列中消费数据。KafkaOffsetMetric是storm-kafka中关于消费状态的Metric。本文将介绍KafkaOffsetMetric中的各个指标。

    下面是kafka-spout 关于KafkaOffsetMetric 相关指标的示例:

    {
        partition_3/latestTimeOffset=631044351,
        totalLatestTimeOffset=1031834482,
        totalSpoutLag=0,
        totalLatestEmittedOffset=1031834482,
        totalEarliestTimeOffset=1031834482,
        partition_3/latestEmittedOffset=631044351,
        partition_1/latestEmittedOffset=400790131,
        partition_3/earliestTimeOffset=631044351,
        partition_1/latestTimeOffset=400790131,
        partition_3/spoutLag=0,
        partition_1/earliestTimeOffset=400790131,
        partition_1/spoutLag=0
    }
    

    1.每个partition的消费状态相关指标

    partition_3/latestTimeOffset=631044351,   #该分区最新的offset,
    partition_3/latestEmittedOffset=631044351,#该分区最新的消费的offst
    partition_3/earliestTimeOffset=631044351, #该分区最早的offset,
    partition_3/spoutLag=0,                   #该分区消费的延迟:spoutLag= latestTimeOffset - latestEmittedOffset;
    

    2. 整体的消费状态相关指标

    totalLatestTimeOffset=1031834482,          #totalLatestTimeOffset += latestTimeOffset;          一个topic所有分区最新的offset值之和。
    totalLatestEmittedOffset=1031834482,     #totalLatestEmittedOffset += latestEmittedOffset;  一个topic所有分区最新的消费的offset值之和。
    totalEarliestTimeOffset=1031834482,        #totalEarliestTimeOffset += earliestTimeOffset;       一个topic所有分区最早的offset值之和。
    totalSpoutLag=0,                                       #totalSpoutLag += spoutLag;                                  该topic消费的延迟
  • 相关阅读:
    tp5.带标签的缓存 创建和清除 测试
    web消息推送-goesay
    链接生成二维码-PHP
    微信退款
    tp5 日志文件名称问题
    PHP 获取访问来源
    PHP苹果内购二次验证的那些巨坑
    Linux 按时间批量删除文件命令(删除N天前文件)
    利用WkHtmlToPdf,把H5 转成PDF
    phpstorm2018永久激活方法---安装包激活
  • 原文地址:https://www.cnblogs.com/honeybee/p/5728263.html
Copyright © 2011-2022 走看看