Kafka集群搭建

一、准备kafka

1.1 zookeeper

官网下载地址：http://mirror.bit.edu.cn/apache/zookeeper/

准备好kafka安装包，官网下载地址：
http://kafka.apache.org/downloads.html

我用的：kafka_2.11-0.10.1.0

1.2     rz 上传并解压

tar -zxvf zookeeper-3.3.4.tar.gz

tar -zxvf  kafka_2.11-0.10.1.0

1.3 目前搭建了三个节点的kafka集群，分别在192.168.8.190 , 192.168.8.191 ,  192.168.8.192服务器上

1.4 修改 zoo.cfg 文件

cd conf

mv zoo_sample.cfg zoo.cfg

 vim zoo.cfg

dataDir= /opt/zookeeper/data

添加

server.1=192.168.8.190:2888:3888

server.2=192.168.8.191:2888:3888

server.3=192.168.8.192:2888:3888

新增的是 server.A=B:C:D 配置，其中 A 对应下面我们即将介绍的myid 文件。B是集群的各个IP地址，C:D 是端口配置。

1.5 在data下创建myid

vim myid

在该文件添加上一步 server 配置的对应 A 数字.(对应主机ip)

1.6 配置环境变量

vim  /etc/profile

ZK_HOME=/opt/zookeeper-3.3.4
KAFKA_HOME=/opt/kafka_2.11-0.10.1.0
PATH=$PATH:$ZK_HOME/bin:$KAFKA_HOME/bin

source /etc/profile

1.7 启动zookeeper服务

zkServer.sh start

分别对三台虚拟机启动

二、KAFKA配置

2.1 配置 server.propertiesstorm

cd  /opt/kafka_2.11-0.10.1.0/conf

vim server.propertiesstorm

broker.id=1 //第一个kafka配置为 1，第二个配置为2，以此类推

 

listeners=PLAINTEXT://192.168.8.190:9092 //尽量写ip地址，以免造成错误

log.dirs=/opt/kafka/logs

zookeeper.connect=192.168.8.190:2181,192.168.8.191:2181,192.168.8.192:2181

2.2 分发到各个子节点，拷贝配置好的kafka文件到子节点服务器，然后修改broker.id的值，以及监听端口需要修改listeners

scp –rp /opt/ root@slave1: /opt/

scp –rp /opt/ root@slave2: /opt/

 

2.3启动kafka

启动kafka之前需启动zookeeper，然后启动kafka，各个节点需单独启动

进入kafka安装目录：cd /opt/kafka_2.11-0.10.1.1

cd /opt/kafka/kafka_2.11-0.10.1.0

./bin/kafka-server-start.sh $KAFKA_HOME/config/server.properties &  打印日志启动

./bin/kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties & 不打印日志启动

 

通过jps查看kafka是否启动成功