Kafka监控利器

　　开发过程中，kafka几乎是标配的Mq，如果有一个kafka的监控助手，哪就更完美了，常用的kafka监控工具有 KafkaOffsetMonitor 、Kafka Manager、Capillary、Kafka Eagle，经过测试，最后决定使用Kafka Manager。这篇文章主要介绍Kafka Manager安装及使用。

       硬件环境：

1. Centos
2. kafka-manager-1.3.2.1 为了方便我已经分享到百度网盘，点击下载即可 https://pan.baidu.com/s/1J4B_YnSauUbhtTCHA3y11A
3. kafka单机或者集群的运行实例

一、安装

　　1. 下载及解压

在Centos建个存放Kafka Manager 的文件夹，我的存放目录中在home下，执行如下命令新建文件夹

mkdir /home/kafka-manager

然后转到改目录，把点击下载kafka-manager，下载后把压缩包放到新建的目录下，执行解压命令

unzip kafka-manager-1.3.2.1.zip

可以根据具体环境修改配置文件 ./conf/application.conf，我的配置信息为

# Copyright 2015 Yahoo Inc. Licensed under the Apache License, Version 2.0
# See accompanying LICENSE file.
# This is the main configuration file for the application.
# ~~~~~
# Secret key
# ~~~~~

# The secret key is used to secure cryptographics functions.

# If you deploy your application to several instances be sure to use the same key!

play.crypto.secret="^<csmm5Fx4d=r2HEX8pelM3iBkFVv?k[mc;IZE<_Qoq8EkX_/7@Zt6dP05Pzea3U"

play.crypto.secret=${?APPLICATION_SECRET}

# The application languages

# ~~~~~

play.i18n.langs=["en"]

play.http.requestHandler = "play.http.DefaultHttpRequestHandler"

play.http.context = "/"

play.application.loader=loader.KafkaManagerLoader

kafka-manager.zkhosts="localhost:2181"

kafka-manager.zkhosts=${?ZK_HOSTS}

pinned-dispatcher.type="PinnedDispatcher"

pinned-dispatcher.executor="thread-pool-executor"

application.features=["KMClusterManagerFeature","KMTopicManagerFeature","KMPreferredReplicaElectionFeature","KMReassignPartitionsFeature"]

akka {

  loggers = ["akka.event.slf4j.Slf4jLogger"]

  loglevel = "INFO"

}

basicAuthentication.enabled=false

basicAuthentication.username="admin"

basicAuthentication.password="password"

basicAuthentication.realm="Kafka-Manager"

kafka-manager.consumer.properties.file=${?CONSUMER_PROPERTIES_FILE}

一般为默认即可，一切就绪就可以执行如下命令启动，

　　2. 启动

nohup ./bin/kafka-manager -Dconfig.file=./conf/application.conf -Dhttp.port=9111 >kafka-manager.log 2>&1 &

确认下是否启用，执行如下命令

netstat -an |grep 9111

结果显示，显示 9111 端口在监听状态，说明我们的服务已经启动。

 

在浏览器中查看，输入你的主机名或者ip+端口即可，显示如下，即说明kafka-manager成功安装

 

二、使用

1. 添加kafka

点击Cluster，选择添加 Add Cluster 选择，根据kafka实例填写即可，主要配置ZK，其它信息，根据业务需要改动。

我的配置信息如下：

 

　　　2. 查看信息

1)         集群信息

 

主要显示版本信息、Topics、Brokers，点击Topics数量或者Brokers数量即可进入相应的详情列表

2)         Brokers

 

主要显示Topic的操作及列表，及每个topic的主要信息，点击具体的topic，即可查看详情

3)         Topics

 

显示某个topic的具体信息，非常的详细

4)         Consumers

a)         首先我们启动一个消费者，集群中的任何一个实例即可，执行如下命令

./kafka-console-consumer.sh -zookeeper localhost:2181 --from-beginning --topic **********

**********为消费的Topic。

b)         消费启动后，点击Consumers，显示如下

 

         点击消费者，即可查看该消费者的详细信息

 

主要涉及Partition、Logsize、Consumer Offset

　　关于kafka-manager就介绍到这里，如果你有更好的监控工具，也拿出来一块分享吧