kafka安装部署
1、将zxvf kafka_2.12-2.0.0.tgz 上传到home/用户下
目前搭建了三个节点的kafka集群,分别在172.16.41.141,172.16.41.142和 172.16.41.143服务器上
解压tar -zxvf kafka_2.12-2.0.0.tgz
先检查2181和9092端口是否被别的应用所占用
2、配置文件修改
cd kafka_2.12-2.0.0/config/
①、zookeeper.properties (需要手动创建文件夹/tmp/zookeeper,/tmp/log/zookeeper)
dataDir=/tmp/zookeeper
dataLogDir=/tmp/log/zookeeper
clientPort=2181
maxClientCnxns=100
tickTime=2000
initLimit=10
syncLimit=5
server.1=172.16.41.141:2888:3888
server.2=172.16.41.142:2888:3888
server.3=172.16.41.143:2888:3888
进入到/tmp/zookeeper/文件夹下创建myid文件,将三个服务器上的myid文件分别写入 1,2,3,如下:myid是zk集群用来发现彼此的标识,必须创建,且不能相同;
server.properties(以下字段如果有就修改,如果没有就添加,以下都是)
路径:vi server.properties
21 broker.id=0 #0/1/2
31 listeners=PLAINTEXT://172.16.41.141:9092 #172.16.41.141:9092/172.16.41.141:9092
32 host.name=172.16.41.141 #172.16.41.142/172.16.41.143
123 zookeeper.connect=172.16.41.141:2181,172.16.41.142:2181,172.16.41.143:2181
126 zookeeper.connection.timeout.ms=6000
server.properties配置文件的修改主要在开头和结尾,中间保持默认配置即可;需要注意的点是broker.id的值三个节点要配置不同的值,分别配置为0,1,2;log.dirs必须保证目录存在,不会根据配置文件自动生成;
②、zk启动命令:
自带zk启动(后台启动):cd /kafka_2.12-1.1.0/bin(以下都是在此路径下执行)
nohup ./zookeeper-server-start.sh ../config/zookeeper.properties 2>&1 & 敲两下回车
③、kafka启动(后台启动):
nohup ./kafka-server-start.sh ../config/server.properties 2>&1 &
敲两下回车
④、创建topic:
./kafka-topics.sh --create --zookeeper 172.16.41.141:2181 --replication-factor 1 --partitions 1 --topic NBH
或者./kafka-topics.sh --create --zookeeper 172.16.41.141:2181 --replication-factor 3 --partitions 3 --topic NBH
或者./kafka-topics.sh --create --zookeeper 172.16.41.141:2181,172.16.41.142:2181,172.16.41.143:2181 --replication-factor 3 --partitions 3 --topic NBH
⑤、查看所有topic:
./kafka-topics.sh --list --zookeeper 172.16.41.141:2181