基于Ambari的WebUI部署kafka服务
作者:尹正杰
版权声明:原创作品,谢绝转载!否则将追究法律责任。
一.基于Ambari的WebUI添加kafka服务
1>.点击"Add Service"
2>.选择要添加的kafka服务
3>.选择kafka部署的节点
4>.自定义kafka的配置信息并点击下一步
5>.如果未配置如下图所示的参数,可能点击下一步时会警告咱们,继续点击"PROCEED ANYWAY"
6>.Review配置信息并点击"DEPLOY"
7>.等待初始化任务
8>.等待kafka broker的安装
9>.kafka broker各节点安装成功,点击"Next"
10>.kafka节点安装完成
11>.查看kafka的管理界面
二.开启kafka的JMX功能
1>.进入到kafka 的管理界面,点击"CONFIGS"
2>.配置kafka 的环境变量
3>.启用kafka的JMX配置
#Add by yinzhengjie for enable kafka JMX export JMX_PORT=12345
4>.自定义备注信息
5>.如果出现下图的提示,直接忽略即可不影响咱们做实验
6>.配置成功,点击"OK"
7>.重启broker使得配置生效
8>.暴力一点,直接重启(生产环境建议一台一台去启动)
9>.JMX启动成功
三.安装kafka manager
1>.解压kafka manager压缩包
[root@hdp101.yinzhengjie.org.cn ~]# ll total 94460 -rw-r--r-- 1 root root 96725184 Mar 4 23:52 kafka-manager-2.0.0.2.zip [root@hdp101.yinzhengjie.org.cn ~]# [root@hdp101.yinzhengjie.org.cn ~]# unzip kafka-manager-2.0.0.2 [root@hdp101.yinzhengjie.org.cn ~]# [root@hdp101.yinzhengjie.org.cn ~]# ll total 94500 drwxr-xr-x 8 root root 138 Mar 6 12:31 kafka-manager-2.0.0.2 -rw-r--r-- 1 root root 96725184 Mar 4 23:52 kafka-manager-2.0.0.2.zip [root@hdp101.yinzhengjie.org.cn ~]# [root@hdp101.yinzhengjie.org.cn ~]# ll kafka-manager-2.0.0.2 total 32 drwxr-xr-x 3 root root 18 Mar 6 12:09 application.home_IS_UNDEFINED drwxr-xr-x 2 root root 4096 Mar 6 11:49 bin drwxr-xr-x 2 root root 108 Mar 6 12:05 conf drwxr-xr-x 2 root root 8192 Mar 6 11:49 lib drwxr-xr-x 2 root root 29 Mar 6 12:09 logs -rw-r--r-- 1 root root 8686 Apr 12 2019 README.md -rw-r--r-- 1 root root 5 Mar 6 12:31 RUNNING_PID drwxr-xr-x 3 root root 17 Mar 6 11:49 share [root@hdp101.yinzhengjie.org.cn ~]# [root@hdp101.yinzhengjie.org.cn ~]#
2>.自定义kafka manager的环境变量
[root@hdp101.yinzhengjie.org.cn ~]# cat /etc/profile.d/kafka-manager.sh export KAFKA_MANAGER_HOME=/root/kafka-manager-2.0.0.2 export PATH=${KAFKA_MANAGER_HOME}/bin:$PATH [root@hdp101.yinzhengjie.org.cn ~]# [root@hdp101.yinzhengjie.org.cn ~]# [root@hdp101.yinzhengjie.org.cn ~]# source /etc/profile.d/kafka-manager.sh [root@hdp101.yinzhengjie.org.cn ~]# [root@hdp101.yinzhengjie.org.cn ~]# [root@hdp101.yinzhengjie.org.cn ~]# echo $KAFKA_MANAGER_HOME /root/kafka-manager-2.0.0.2 [root@hdp101.yinzhengjie.org.cn ~]# [root@hdp101.yinzhengjie.org.cn ~]#
3>.修改kafka manager的配置文件
[root@hdp101.yinzhengjie.org.cn ~]# vim $KAFKA_MANAGER_HOME/conf/application.conf [root@hdp101.yinzhengjie.org.cn ~]# [root@hdp101.yinzhengjie.org.cn ~]# grep kafka-manager.zkhosts $KAFKA_MANAGER_HOME/conf/application.conf | head -1 kafka-manager.zkhosts="hdp101.yinzhengjie.org.cn:2181" [root@hdp101.yinzhengjie.org.cn ~]# [root@hdp101.yinzhengjie.org.cn ~]# [root@hdp101.yinzhengjie.org.cn ~]# grep basicAuthentication.enabled $KAFKA_MANAGER_HOME/conf/application.conf | head -1 basicAuthentication.enabled=true [root@hdp101.yinzhengjie.org.cn ~]# [root@hdp101.yinzhengjie.org.cn ~]# grep basicAuthentication.password $KAFKA_MANAGER_HOME/conf/application.conf | head -1 basicAuthentication.password="yinzhengjie" [root@hdp101.yinzhengjie.org.cn ~]#
4>.后台启动kafka manager并查看日志
[root@hdp101.yinzhengjie.org.cn ~]# nohup kafka-manager -Dhttp.port=8888 > kafka-manager.log 2>&1 & #生产环境建议后台启动,便于保存日志便于排错。 [root@hdp101.yinzhengjie.org.cn ~]# [root@hdp101.yinzhengjie.org.cn ~]# kafka-manager -Dhttp.port=8888 #测试时可以前台启动
5>.打开浏览器访问(用户名和密码就是咱们在上面的"$KAFKA_MANAGER_HOME/conf/application.conf"中定义好啦)
6>.进入到kafka manager界面,如下图所示
7>.使用kafka manager的webUI配置监控kafka
8>.集群添加成功
9>.查看broker信息
10>.kafka manager使用简介
博主推荐阅读: https://www.cnblogs.com/yinzhengjie/p/9808121.html