zoukankan      html  css  js  c++  java
  • 基于Ambari的WebUI部署kafka服务

                    基于Ambari的WebUI部署kafka服务

                                      作者:尹正杰

    版权声明:原创作品,谢绝转载!否则将追究法律责任。

    一.基于Ambari的WebUI添加kafka服务

    1>.点击"Add Service"

    2>.选择要添加的kafka服务

    3>.选择kafka部署的节点

    4>.自定义kafka的配置信息并点击下一步

    5>.如果未配置如下图所示的参数,可能点击下一步时会警告咱们,继续点击"PROCEED ANYWAY"

    6>.Review配置信息并点击"DEPLOY"

    7>.等待初始化任务

    8>.等待kafka broker的安装

    9>.kafka broker各节点安装成功,点击"Next"

    10>.kafka节点安装完成

    11>.查看kafka的管理界面

    二.开启kafka的JMX功能

    1>.进入到kafka 的管理界面,点击"CONFIGS"

    2>.配置kafka 的环境变量

    3>.启用kafka的JMX配置

    #Add by yinzhengjie for  enable kafka JMX
    export JMX_PORT=12345

    4>.自定义备注信息

    5>.如果出现下图的提示,直接忽略即可不影响咱们做实验

    6>.配置成功,点击"OK"

    7>.重启broker使得配置生效

    8>.暴力一点,直接重启(生产环境建议一台一台去启动)

    9>.JMX启动成功

    三.安装kafka manager

    1>.解压kafka manager压缩包

    [root@hdp101.yinzhengjie.org.cn ~]# ll
    total 94460 
    -rw-r--r-- 1 root root 96725184 Mar  4 23:52 kafka-manager-2.0.0.2.zip
    [root@hdp101.yinzhengjie.org.cn ~]# 
    [root@hdp101.yinzhengjie.org.cn ~]# unzip kafka-manager-2.0.0.2
    [root@hdp101.yinzhengjie.org.cn ~]# 
    [root@hdp101.yinzhengjie.org.cn ~]# ll
    total 94500
    drwxr-xr-x 8 root root      138 Mar  6 12:31 kafka-manager-2.0.0.2
    -rw-r--r-- 1 root root 96725184 Mar  4 23:52 kafka-manager-2.0.0.2.zip
    [root@hdp101.yinzhengjie.org.cn ~]# 
    [root@hdp101.yinzhengjie.org.cn ~]# ll kafka-manager-2.0.0.2
    total 32
    drwxr-xr-x 3 root root   18 Mar  6 12:09 application.home_IS_UNDEFINED
    drwxr-xr-x 2 root root 4096 Mar  6 11:49 bin
    drwxr-xr-x 2 root root  108 Mar  6 12:05 conf
    drwxr-xr-x 2 root root 8192 Mar  6 11:49 lib
    drwxr-xr-x 2 root root   29 Mar  6 12:09 logs
    -rw-r--r-- 1 root root 8686 Apr 12  2019 README.md
    -rw-r--r-- 1 root root    5 Mar  6 12:31 RUNNING_PID
    drwxr-xr-x 3 root root   17 Mar  6 11:49 share
    [root@hdp101.yinzhengjie.org.cn ~]# 
    [root@hdp101.yinzhengjie.org.cn ~]# 

    2>.自定义kafka manager的环境变量

    [root@hdp101.yinzhengjie.org.cn ~]# cat /etc/profile.d/kafka-manager.sh 
    export KAFKA_MANAGER_HOME=/root/kafka-manager-2.0.0.2
    export PATH=${KAFKA_MANAGER_HOME}/bin:$PATH
    [root@hdp101.yinzhengjie.org.cn ~]# 
    [root@hdp101.yinzhengjie.org.cn ~]# 
    [root@hdp101.yinzhengjie.org.cn ~]# source /etc/profile.d/kafka-manager.sh 
    [root@hdp101.yinzhengjie.org.cn ~]# 
    [root@hdp101.yinzhengjie.org.cn ~]# 
    [root@hdp101.yinzhengjie.org.cn ~]# echo $KAFKA_MANAGER_HOME
    /root/kafka-manager-2.0.0.2
    [root@hdp101.yinzhengjie.org.cn ~]# 
    [root@hdp101.yinzhengjie.org.cn ~]# 

    3>.修改kafka manager的配置文件

    [root@hdp101.yinzhengjie.org.cn ~]# vim $KAFKA_MANAGER_HOME/conf/application.conf 
    [root@hdp101.yinzhengjie.org.cn ~]#
    [root@hdp101.yinzhengjie.org.cn ~]# grep kafka-manager.zkhosts $KAFKA_MANAGER_HOME/conf/application.conf  | head -1
    kafka-manager.zkhosts="hdp101.yinzhengjie.org.cn:2181"
    [root@hdp101.yinzhengjie.org.cn ~]# 
    [root@hdp101.yinzhengjie.org.cn ~]# 
    [root@hdp101.yinzhengjie.org.cn ~]# grep basicAuthentication.enabled $KAFKA_MANAGER_HOME/conf/application.conf  | head -1
    basicAuthentication.enabled=true
    [root@hdp101.yinzhengjie.org.cn ~]# 
    [root@hdp101.yinzhengjie.org.cn ~]# grep basicAuthentication.password $KAFKA_MANAGER_HOME/conf/application.conf  | head -1
    basicAuthentication.password="yinzhengjie"
    [root@hdp101.yinzhengjie.org.cn ~]# 

    4>.后台启动kafka manager并查看日志

    [root@hdp101.yinzhengjie.org.cn ~]# nohup kafka-manager -Dhttp.port=8888 > kafka-manager.log 2>&1 &         #生产环境建议后台启动,便于保存日志便于排错。
    [root@hdp101.yinzhengjie.org.cn ~]# 
    [root@hdp101.yinzhengjie.org.cn ~]# kafka-manager -Dhttp.port=8888                             #测试时可以前台启动

    5>.打开浏览器访问(用户名和密码就是咱们在上面的"$KAFKA_MANAGER_HOME/conf/application.conf"中定义好啦)

    6>.进入到kafka manager界面,如下图所示

    7>.使用kafka manager的webUI配置监控kafka

    8>.集群添加成功

    9>.查看broker信息

    10>.kafka manager使用简介

      博主推荐阅读:
        https://www.cnblogs.com/yinzhengjie/p/9808121.html
  • 相关阅读:
    (转)UML类图关系(泛化 、继承、实现、依赖、关联、聚合、组合)
    (转)使用 Document!X 为自己的dll生成一个漂亮的说明文档
    我的游戏学习日志42——游戏机制设计(2)
    我的游戏学习日志41——游戏机制设计(1)
    我的游戏学习日志40——游戏概念设计(2)
    我的游戏学习日志39——游戏概念设计(1)
    我的游戏学习日志38——游戏性的评估标准(2)
    我的游戏学习日志37——游戏性的评估标准(1)
    我的游戏学习日志36——游戏结构(小结)
    我的游戏学习日志35——游戏结构(4)
  • 原文地址:https://www.cnblogs.com/yinzhengjie2020/p/12285721.html
Copyright © 2011-2022 走看看