zoukankan      html  css  js  c++  java
  • 基于Ambari的WebUI部署kafka服务

                    基于Ambari的WebUI部署kafka服务

                                      作者:尹正杰

    版权声明:原创作品,谢绝转载!否则将追究法律责任。

    一.基于Ambari的WebUI添加kafka服务

    1>.点击"Add Service"

    2>.选择要添加的kafka服务

    3>.选择kafka部署的节点

    4>.自定义kafka的配置信息并点击下一步

    5>.如果未配置如下图所示的参数,可能点击下一步时会警告咱们,继续点击"PROCEED ANYWAY"

    6>.Review配置信息并点击"DEPLOY"

    7>.等待初始化任务

    8>.等待kafka broker的安装

    9>.kafka broker各节点安装成功,点击"Next"

    10>.kafka节点安装完成

    11>.查看kafka的管理界面

    二.开启kafka的JMX功能

    1>.进入到kafka 的管理界面,点击"CONFIGS"

    2>.配置kafka 的环境变量

    3>.启用kafka的JMX配置

    #Add by yinzhengjie for  enable kafka JMX
    export JMX_PORT=12345

    4>.自定义备注信息

    5>.如果出现下图的提示,直接忽略即可不影响咱们做实验

    6>.配置成功,点击"OK"

    7>.重启broker使得配置生效

    8>.暴力一点,直接重启(生产环境建议一台一台去启动)

    9>.JMX启动成功

    三.安装kafka manager

    1>.解压kafka manager压缩包

    [root@hdp101.yinzhengjie.org.cn ~]# ll
    total 94460 
    -rw-r--r-- 1 root root 96725184 Mar  4 23:52 kafka-manager-2.0.0.2.zip
    [root@hdp101.yinzhengjie.org.cn ~]# 
    [root@hdp101.yinzhengjie.org.cn ~]# unzip kafka-manager-2.0.0.2
    [root@hdp101.yinzhengjie.org.cn ~]# 
    [root@hdp101.yinzhengjie.org.cn ~]# ll
    total 94500
    drwxr-xr-x 8 root root      138 Mar  6 12:31 kafka-manager-2.0.0.2
    -rw-r--r-- 1 root root 96725184 Mar  4 23:52 kafka-manager-2.0.0.2.zip
    [root@hdp101.yinzhengjie.org.cn ~]# 
    [root@hdp101.yinzhengjie.org.cn ~]# ll kafka-manager-2.0.0.2
    total 32
    drwxr-xr-x 3 root root   18 Mar  6 12:09 application.home_IS_UNDEFINED
    drwxr-xr-x 2 root root 4096 Mar  6 11:49 bin
    drwxr-xr-x 2 root root  108 Mar  6 12:05 conf
    drwxr-xr-x 2 root root 8192 Mar  6 11:49 lib
    drwxr-xr-x 2 root root   29 Mar  6 12:09 logs
    -rw-r--r-- 1 root root 8686 Apr 12  2019 README.md
    -rw-r--r-- 1 root root    5 Mar  6 12:31 RUNNING_PID
    drwxr-xr-x 3 root root   17 Mar  6 11:49 share
    [root@hdp101.yinzhengjie.org.cn ~]# 
    [root@hdp101.yinzhengjie.org.cn ~]# 

    2>.自定义kafka manager的环境变量

    [root@hdp101.yinzhengjie.org.cn ~]# cat /etc/profile.d/kafka-manager.sh 
    export KAFKA_MANAGER_HOME=/root/kafka-manager-2.0.0.2
    export PATH=${KAFKA_MANAGER_HOME}/bin:$PATH
    [root@hdp101.yinzhengjie.org.cn ~]# 
    [root@hdp101.yinzhengjie.org.cn ~]# 
    [root@hdp101.yinzhengjie.org.cn ~]# source /etc/profile.d/kafka-manager.sh 
    [root@hdp101.yinzhengjie.org.cn ~]# 
    [root@hdp101.yinzhengjie.org.cn ~]# 
    [root@hdp101.yinzhengjie.org.cn ~]# echo $KAFKA_MANAGER_HOME
    /root/kafka-manager-2.0.0.2
    [root@hdp101.yinzhengjie.org.cn ~]# 
    [root@hdp101.yinzhengjie.org.cn ~]# 

    3>.修改kafka manager的配置文件

    [root@hdp101.yinzhengjie.org.cn ~]# vim $KAFKA_MANAGER_HOME/conf/application.conf 
    [root@hdp101.yinzhengjie.org.cn ~]#
    [root@hdp101.yinzhengjie.org.cn ~]# grep kafka-manager.zkhosts $KAFKA_MANAGER_HOME/conf/application.conf  | head -1
    kafka-manager.zkhosts="hdp101.yinzhengjie.org.cn:2181"
    [root@hdp101.yinzhengjie.org.cn ~]# 
    [root@hdp101.yinzhengjie.org.cn ~]# 
    [root@hdp101.yinzhengjie.org.cn ~]# grep basicAuthentication.enabled $KAFKA_MANAGER_HOME/conf/application.conf  | head -1
    basicAuthentication.enabled=true
    [root@hdp101.yinzhengjie.org.cn ~]# 
    [root@hdp101.yinzhengjie.org.cn ~]# grep basicAuthentication.password $KAFKA_MANAGER_HOME/conf/application.conf  | head -1
    basicAuthentication.password="yinzhengjie"
    [root@hdp101.yinzhengjie.org.cn ~]# 

    4>.后台启动kafka manager并查看日志

    [root@hdp101.yinzhengjie.org.cn ~]# nohup kafka-manager -Dhttp.port=8888 > kafka-manager.log 2>&1 &         #生产环境建议后台启动,便于保存日志便于排错。
    [root@hdp101.yinzhengjie.org.cn ~]# 
    [root@hdp101.yinzhengjie.org.cn ~]# kafka-manager -Dhttp.port=8888                             #测试时可以前台启动

    5>.打开浏览器访问(用户名和密码就是咱们在上面的"$KAFKA_MANAGER_HOME/conf/application.conf"中定义好啦)

    6>.进入到kafka manager界面,如下图所示

    7>.使用kafka manager的webUI配置监控kafka

    8>.集群添加成功

    9>.查看broker信息

    10>.kafka manager使用简介

      博主推荐阅读:
        https://www.cnblogs.com/yinzhengjie/p/9808121.html
  • 相关阅读:
    打造基于CentOS7的xfce最简工作环境
    Linux下C程序的编辑,编译和运行以及调试
    修正 XE6 TListView 上方 SearchBok 右边的清除钮显示
    TabControl 显示彩色的图示 (XE6 Firemonkey)
    TSwitch 中文简繁显示支持(XE6 Android)
    改变 TMemo 的背景颜色 (Firemonkey)
    修正 XE5 Android 键盘三个问题
    Delphi 收藏
    展示 Popup 的使用方法
    ListView 下拉更新 (支持 Android)
  • 原文地址:https://www.cnblogs.com/yinzhengjie2020/p/12285721.html
Copyright © 2011-2022 走看看