Kafka之安装

Kafka之安装

一、下载kafka

　　此博客只讲述kafka0.8和kafka1.0两个版本

　　更改kafka下的/home/bigdata/kafka/config/server.properties

1.1 kafka0.8版本

　　20行：broker.id=1
　　28行：host.name=hadoop1
　　63行：log.dirs=/home/bigdata/kafka0.8/data
　　118行：zookeeper.connect=192.168.11.11:2181,192.168.11.12:2181,192.168.11.13:2181

1.2 kafka1.0版本

　　21行：broker.id=0
　　24行：delete.topic.enable=true
　　34行：listeners=PLAINTEXT://192.168.11.11:9092（可改可不该，默认端口号9092）
　　63行：log.dirs=/home/bigdata/kafka0.10/data
　　119行：zookeeper.connect=192.168.11.11:2181,192.168.11.12:2181,192.168.11.13:2181

二、解压安装包

　　cd /home/software
　　tar -zxvf kafka_2.11-0.11.0.0.tgz -C /home/bigdata/

三、修改解压后的文件名称

　　cd /home/home/bigdata
　　mv kafka_2.11-0.11.0.0/ kafka

四、在/home/bigdata/kafka目录下创建logs文件夹

 　　mkdir logs

五、修改配置文件

 　　cd config/

　　vi server.properties

#broker的全局唯一编号，不能重复
broker.id=0
#删除topic功能使能
delete.topic.enable=true
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘IO的现成数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka运行日志存放的路径    
log.dirs=/home/bigdata/kafka/logs
#topic在当前broker上的分区个数
num.partitions=1
#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment文件保留的最长时间，超时将被删除
log.retention.hours=168
#配置连接Zookeeper集群地址
zookeeper.connect=192.168.11.11:2181,192.168.11.12:2181,192.168.11.13:2181

 

六、配置环境变量

　　export KAFKA_HOME=/home/bigdata/kafka
　　export PATH=$PATH:$KAFKA_HOME/bin
　　source /etc/profile

七、分发安装包

　　scp -r ./kafka hadoop2:`pwd`
　　scp -r ./kafka hadoop2:`pwd`
　　scp -r /etc/profile hadoop2:/etc/
　　scp -r /etc/profile hadoop3:/etc/

八、分别在hadoop2和hadoop3上修改配置文件

　　 /home/bigdata/kafka/config/server.properties中的broker.id=1、broker.id=2

　　注：broker.id不得重复

九、启动kafka集群

　　此处自己定义脚本，集群启动脚本(创建kafka和zookeper脚本)

　　kafka脚本

　　touch kafka-all.start.sh

 #!/bin/bash

for i in {1..3}
do
  echo "kafka$i 启动中..."
  ssh root@hadoop$i "source /etc/profile;/home/bigdata/kafka0.10/bin/kafka-server-start.sh -daemon /home/bigdata/kafka0.10/config/server.properties"
  echo "kafka$i 成功启动！！！"
done

　　zookeeper脚本

　　touch zkServer-all.sh

#!/bin/bash
for i in {1..3}
do
  echo hadoop$i"启动中..."
  ssh root@hadoop$i "source /etc/profile;/home/bigdata/zookeeper/bin/zkServer.sh start"
echo hadoop$i"成功启动！"
done

十、关闭kafka集群

　　/home/bigdata/kafka0.10/bin/kafka-server-stop.sh stop