zoukankan      html  css  js  c++  java
  • 【转载】apache kafka系列之-监控指标

    原文地址:http://blog.csdn.net/lizhitao/article/details/24581907

    1、监控目标

     1.当系统可能或处于亚健康状态时及时提醒,预防故障发生

     2.报警提示 a.短信方式 b.邮件

    2、监控内容

    2.1 机器监控

    Kafka服务器指标

    1. CPU Load
    2. Disk IO
    3. Memory
    4. 磁盘log.dirs目录下数据文件大小,要有定时清除策略

    2.2 JVM监控

    主要监控JAVA的 GC time(垃圾回收时间),JAVA的垃圾回收机制对性能的影响比较明显

    2.3 Kafka系统监控

    1、Kafka总体监控

    • zookeeper上/XXX/broker/ids目录下节点数量
    • leader 选举频率

    2、Kafka Broker监控

    • kafka集群中Broker列表,broker运行状况,包括node下线,活跃数量
    • Broker是否提供服务
    • 数据流量  流入速度,流出速度 (message / byte)
    • ISR 收缩频率

    3、Kafka Controller监控

    • controller存活数目

    4、Kafka Producer监控

     

    • producer数量,排队情况
    • 请求响应时间
    • QPS/分钟

     

    5、Kafka Consumer监控

    • consumer队列中排队请求数
    • 请求响应时间
    • 最近一分钟平均每秒请求数

    6、Topic监控

    • 数据量大小;
    • offset
    • 数据流量 流入速度,流出速度 (message / byte)

    3.监控指标

    3.1 JVM监控

    a.通过JMX获取GC time

    b.jvm full gc次数

            c.通过jmx监控kafka相关参数
     

    3.2 kafka系统监控

    监控数据获取方式

    1、生存节点信息可以从zookeeper获取

    2、除生存节点 和 

    a、Broker是否提供服务。

    b、Topic数据量大小,

    c、Topic的offset 外,其他数据都可以通过JMX获取


  • 相关阅读:
    微信小程序传参 查询数据库,显示在小程序上
    jquery 的$.ajax() 与php后台交互
    Laravel 7 中文文档
    phpStudy配置
    Mysql 聚合函数 嵌套使用
    MySQL 的IFNULL()、ISNULL()和NULLIF()函数
    MySQL 定义变量,并且可以当value 值插入
    排序算法之冒泡排序
    排序算法之快速排序
    链表之反转链表
  • 原文地址:https://www.cnblogs.com/bluejoe/p/5115820.html
Copyright © 2011-2022 走看看