最近在寻找可以监控kafka集群的软件,发现滴滴开源的项目不错,赶紧动手用起来。
开源地址:https://github.com/didi/Logi-KafkaManager
本文主要记录使用中存在的问题:
一、数据库版本
1. 默认的数据库使用的是MySQL5.7,如果使用的是MySQL8.0+的需要自己下载源码编译后部署安装。下载地址
2. 修改根目录下的pom.xml文件中依赖mysql-connector-java的版本信息为8.0.20
3. windows环境使用cmd命令,进入到项目目录,执行mvn install,打包
mvn install
(如果执行的时候’mvn’ 不是内部或外部命令,也不是可运行的程序,自行百度)
打包成功的jar文件在 Logi-KafkaManager-masterkafka-manager-web arget 目录下
二、修改配置文件
1. 修改服务默认端口8080为18080
2. 修改数据库的连接配置信息,根据提供的SQL文件创建数据库和表
3. 开启JMX端口,在启动kafka命令前加上JMX_PORT=9999 即可
JMX_PORT=9999 bin/kafka-server-start.sh -daemon config/server.properties
三、web控制台配置
1. 接入集群,zookeeper地址最后的名称写自己zookeeper的连接名称,没有配置的就是/ ,例如 192.168.1.1:2181/
2. 新建Region,Broker列表填写的是kafka的配置文件中broker.id的值
3. 新建逻辑集群,RegionIdList就是上一步添加过的Region,一个Region只属于一个逻辑集群。如果节点很多的话,这样自上而下方便管理
四、问题汇总
- kafka manger 报错java.rmi.ConnectException: Connection refused to host: 127.0.0.1
在kafka安装目录下的kafka-run-class.sh中 # JMX settings if [ -z "$KAFKA_JMX_OPTS" ]; then KAFKA_JMX_OPTS="-Djava.rmi.server.hostname=192.168.15.23 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxrem ote.ssl=false " fi 增加一项-Djava.rmi.server.hostname=192.168.15.23
友情参考链接:
安装 https://blog.csdn.net/wsdc0521/article/details/105833978
使用:https://mp.weixin.qq.com/s/pYYgppGaj3RDD4libORynw
架构:https://blog.csdn.net/yezonggang/article/details/113106244