搭建kafka集群

一、准备3台服务器（前提:zookeeper集群,）

二、下载路径：http://kafka.apache.org/downloads

三、上传压缩包到三台服务器并解压到指定目录(3台，以hdp03为例)

mkdir /opt/kafka

cd /opt/install

rz

　tar -zxvf kafka_2.11-0.10.1.0.tgz -C /opt/kafka/

四、配置环境变量

cd /etc/profile

　export KAFKA_HOME=/opt/kafka/kafka_2.11-0.10.1.0

　export PATH=$PATH:$KAFKA_HOME/bin

生效配置

source /etc/profile

五、修改配置文件

cd /opt/kafka/kafka_2.11-0.10.1.0/config

vim server.properties 

（1）、配置 broker 的ID

broker.id=1 //第一个kafka配置为 1，第二个配置为2，以此类推

（2）、打开监听端口

listeners=PLAINTEXT://192.168.0.32:9092 //尽量写ip地址，以免造成错误

（3）、修改 log 的目录、在指定的位置创建好文件夹logs

log.dirs=/opt/kafka/logs

（4）、修改 zookeeper.connect

尽量写ip地址，以免造成错误

zookeeper.connect=192.168.0.32:2181,192.168.0.42:2181,192.168.0.43:2181

（5）、网络线程数量

num.network.threads=3

（6）Zookeeper每6秒监视kafka是否还活着

zookeeper.connection.timeout.ms=6000（默认）

 

六、三台都配置好后(注意broker.id和listeners需要修改),先各自启动zookeeper

//zookeeper启动
zkServer.sh start

七、启动kafka,各节点需单独启动，jps查看是否启动

kafka-server-start.sh $KAFKA_HOME/config/server.properties &  打印日志启动

kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties & 不打印日志启动

八、测试

通过创建一个topic（名字为test）来测试是否能成功运行，随便选择一个节点运行
kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic zhangsan

列出kafka：kafka-topics.sh --list -zookeeper 192.168.0.32:2181。有刚刚的测试topic名，表示创建成功。