由于kafka、zk 集群已经部署在k8s中, kafka的服务名 kafka-hs, zk的服务名为:zk-cs ,对kafka进行监控,所以需要把监控部署到k8s中,选择使用kafka-eagle.
下载地址: http://download.smartloli.org/
kafka-eagle 配置文件
[root@harbor conf]# cat system-config.properties ###################################### # multi zookeeper&kafka cluster list ######################################连接zk暴露的服务端口 kafka.eagle.zk.cluster.alias=cluster1 cluster1.zk.list=zk-cs:2181 ###################################### # zk client thread limit ###################################### kafka.zk.limit.size=25 ###################################### # kafka eagle webui port ###################################### kafka.eagle.webui.port=80 ###################################### # kafka offset storage ###################################### cluster1.kafka.eagle.offset.storage=kafka ###################################### # enable kafka metrics ###################################### kafka.eagle.metrics.charts=false ###################################### # alarm email configure ###################################### kafka.eagle.mail.enable=true kafka.eagle.mail.sa=alert_sa kafka.eagle.mail.username=alert_sa@163.com kafka.eagle.mail.password=mqslimczkdqabbbh kafka.eagle.mail.server.host=smtp.163.com kafka.eagle.mail.server.port=25 ###################################### # delete kafka topic token ###################################### kafka.eagle.topic.token=keadmin ###################################### # kafka sasl authenticate ###################################### kafka.eagle.sasl.enable=false kafka.eagle.sasl.protocol=SASL_PLAINTEXT kafka.eagle.sasl.mechanism=PLAIN ###################################### # kafka jdbc driver address ###################################### kafka.eagle.driver=org.sqlite.JDBC kafka.eagle.url=jdbc:sqlite:/hadoop/kafka-eagle/db/ke.db kafka.eagle.username=root kafka.eagle.password=smartloli
还需要修改 /root/kafka_monitor/kafka-eagle/kms/catalina.sh, 启动后发在前台(就是tomcat)
FROM centos MAINTAINER fengjian <fengjian@senyint.com> ENV TZ "Asia/Shanghai" ENV TERM xterm ENV MALLOC_ARENA_MAX=1 ENV KE_HOME /data/kafka-eagle ENV JAVA_HOME /data/jdk ENV CLASSPATH $JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar ENV PATH $PATH:$JAVA_HOME/bin RUN rm /etc/yum.repos.d/* -rf ADD Centos-7.repo /etc/yum.repos.d/ ADD epel.repo /etc/yum.repos.d/ RUN yum clean all RUN yum -y install fontconfig ttmkfdir unzip net-tools bind-utils sysstat kde-l10n-Chinese telnet reinstall glibc-common gcc automake autoconf libtool make gcc-c++ RUN localedef -c -f UTF-8 -i zh_CN zh_CN.utf8 ENV LC_ALL "zh_CN.UTF-8" ADD SIMHEI.TTF /usr/share/fonts/chinese ADD SIMSUN.TTC /usr/share/fonts/chinese ADD fonts.conf /etc/fonts/fonts.conf ADD localtime /etc/ ADD jdk.tar.gz /data ADD profile /etc ADD 20-nproc.conf /etc/security/limits.d/ ADD limits.conf /etc/security/ ADD kafka-eagle.tar.gz /data/ RUN chmod -R 755 /usr/share/fonts/chinese && ttmkfdir -e /usr/share/X11/fonts/encodings/encodings.dir && chmod +x /data/kafka-eagle/bin/ke.sh && mkdir -p /hadoop/kafka-eagle/db ENTRYPOINT ["/data/kafka-eagle/bin/ke.sh","start"]
部署yaml 文件
登录地址 http://192.168.200.21:30271/ke/ 用户名 admin ,密码 123456