kafka-Eagle的安装

kafka Eagle是什么

　　kafka Eagle是一款控制和管理Apache Kafka的完全开源系统，它提供了完善的管理页面，多方面的去管理和可视化kafka集群的一些信息，例如Broker详情，性能指标趋势，Topic集合，消费者信息等；

1.修改kafka的启动命令

　　修改kafka-server-start.sh命令中

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi

　　修改内容如下：

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-server -Xms1G -Xms1G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"
    export JMX_PORT="9999"
fi

　　注意：修改之后在启动kafka之前要修改其他的节点；

2.上传kafka-eagle压缩包到集群/opt/software目录下

　　下载地址：https://pan.baidu.com/s/1HqcxPKF13XhCCPPzDz86tg

　　

3.解压文件到本地

tar -zxvf kafka-eagle-bin-1.2.4.tar.gz 

4.进入解压目录

[root@kafka01 software]# cd kafka-eagle-bin-1.2.4/
[root@kafka01 kafka-eagle-bin-1.2.4]# ll
总用量 74032
-rw-rw-r--. 1 root root 75808650 8月  20 2018 kafka-eagle-web-1.2.4-bin.tar.gz

5.将kafka-eagle-web-1.2.4-bin.tar.gz解压至/opt/module目录

tar -zxvf kafka-eagle-web-1.2.4-bin.tar.gz -C /opt/module/

6.修改文件名称

mv kafka-eagle-web-1.2.4/ eagle

　　

7.修改环境变量

sudo vim /etc/profile

　　修改内容如下：　　　

export KE_HOME=/opt/module/eagle
export PATH=$PATH:$KE_HOME/bin

　　　　

8.给启动文件执行权限

　　进入eagle的【bin】目录下

chmod 777 ke.sh 

　　　　

9.修改system-config.properties配置文件

vim system-config.properties

　　修改内容如下：

######################################
# multi zookeeper&kafka cluster list
######################################
kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=192.168.138.55:2181,192.168.138.66:2181,192.168.138.77:2181

######################################
# zk client thread limit
######################################
kafka.zk.limit.size=25

######################################
# kafka eagle webui port
######################################
kafka.eagle.webui.port=8048

######################################
# kafka offset storage
######################################
cluster1.kafka.eagle.offset.storage=kafka

######################################
# enable kafka metrics
######################################
kafka.eagle.metrics.charts=true

######################################
# alarm email configure
######################################
kafka.eagle.mail.username=alert_sa@163.com
kafka.eagle.mail.password=mqslimczkdqabbbh
kafka.eagle.mail.server.host=smtp.163.com
kafka.eagle.mail.server.port=25

######################################
# delete kafka topic token
######################################
kafka.eagle.topic.token=keadmin

######################################
# kafka sasl authenticate
######################################
kafka.eagle.sasl.enable=false
kafka.eagle.sasl.protocol=SASL_PLAINTEXT
kafka.eagle.sasl.mechanism=PLAIN

######################################
# kafka jdbc driver address
######################################
kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://192.168.138.187:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=root
kafka.eagle.password=root

10.启动

　　10.1 进入bin目录下

./ke.sh start

　　10.2 如果在启动的时候，报如下错误：

[2020-03-12 14:45:18] INFO: Starting  kafka eagle environment check ...
[2020-03-12 14:45:18] Error: The JAVA_HOME environment variable is not defined correctly.
[2020-03-12 14:45:18] Error: This environment variable is needed to run this program.

　　　　需要在/etc/profile里面添加java环境变量；

　　　　10.2.1 在Linux下，查找java的安装路径：

[root@kafka01 bin]# whereis java
java: /usr/bin/java /usr/lib/java /etc/java /usr/share/java /usr/share/man/man1/java.1.gz
[root@kafka01 bin]# ls -lrt /usr/bin/java
lrwxrwxrwx. 1 root root 22 2月  17 18:19 /usr/bin/java -> /etc/alternatives/java
[root@kafka01 bin]# ls -lrt /etc/alternatives/java
lrwxrwxrwx. 1 root root 73 2月  17 18:19 /etc/alternatives/java -> /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.b08-0.el7_7.x86_64/jre/bin/java

　　　　10.2.2 JDK配置环境变量：

sudo vim /etc/profile

　　　　10.2.3 在文件的末尾添加如下内容：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.b08-0.el7_7.x86_64
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

　　　　10.2.4 使用如下命令让配置生效

source /etc/profile

　　　　10.2.5 查看JAVA_HOME环境变量

echo $JAVA_HOME

　　　　　　

　　　　10.2.6 再次启动eagle

./ke.sh start

　　　　　　

　　　　　　

　　　　　　

11.kafka Eagle包含哪些功能

　　11.1 数据面板

　　　　负责展示kafka集群的Broker数，Topic数，Consumer数，以及Topic LogSize Top10和Topic Capacity Top10数据；

　　11.2 主题

　　　　该模块包含主题创建，，主题管理，主题预览，KSQL查看主题，主题数据写入，主题属性配置等；

　　11.3 消费者组

　　　　该模块包含控制不同消费者组中的Topic被消费的详情，例如LogSize，Offsets，以及Lag等。同时，支持查看Lag的历史趋势图；

　　11.4 集群管理

　　　　该模块包含kafka集群和zookeeper集群的详情展示，例如kafka的IP和端口，版本号，启动时间，zookeeper的Leader和Follower。同时还支持多kafka集群切换，记忆zookeeper Client数据查看等功能；

　　11.5 指标控制

　　　　该模块包含监控kafka集群和zookeeper集群的核心指标，包含kafka的消息发送趋势，消息大小接收与发送趋势，zookeeper的连接数趋势等等。同时，还支持查看Broker的瞬时指标数据；

　　11.6 告警 

　　　　该模块包含告警集群异常和消费者应用Lag异常。同时，支持多种IM告警方式，例如：邮件，钉钉，微信，Webhook等；

　　11.7 系统管理

　　　　该模块包含用户管理，例如创建用户，用户授权，资源管理等；

　　11.8 数据大屏

　　　　该模块包含展示消费者和生产者当日及最近7天趋势，kafka集群读写速度，kafka集群历史总记录等；