kafka安装

1.将kafka上传至3台服务器

kafka下载路径：http://kafka.apache.org/downloads

解压到对应的目录：tar -zxvf kafka_2.11-0.10.1.0.tgz -C /opt/software/

2.配置环境变量

添加环境变量

export KAFKA_HOME=/opt/kafka_2.11-0.10.1.0
export PATH=$PATH:$KAFKA_HOME/bin

让我们的配置文件生效：source /etc/profile

3.修改配置文件server.properties

（1）配置文件的路径：/opt/software/kafka_2.11-0.10.1.0/config/server.properties

# (1).配置 broker 的ID
21 broker.id=1  # 第一个kafka配置为 1，第二个配置为2，以此类推
# (2).打开监听端口
# 尽量写ip地址，以免造成错误
34 listeners=PLAINTEXT://192.168.0.10:9092
# (3).修改 log 的目录、在指定的位置创建好文件夹logs
60 log.dirs=/opt/software/kafka_2.11-0.10.1.0/logs
# (4).修改 zookeeper.connect,尽量写ip地址，以免造成错误
116 zookeeper.connect=192.168.0.10:2181,192.168.0.11:2181,192.168.0.12:2181
# (5).网络线程数量
42 num.network.threads=3
# (6).Zookeeper每6秒监视kafka是否还活着(默认)
119 zookeeper.connection.timeout.ms=6000

（2）将修改好的配置文件分发到各个子节点上

scp -rp /opt/software/kafka_2.11-0.10.1.0/ root@hdp02:/opt/software/

scp -rp /opt/software/kafka_2.11-0.10.1.0/ root@hdp03:/opt/software/

（3）修改各个节点上的broker.id的值，以及监听端口需要修改listeners

4.启动kafka

启动kafka之前需要先启动zookeeper，然后再启动kafka，各个节点需要单独启动

（1）启动zookeeper：zkServer.sh start

（2）启动kafka：kafka-server-start.sh $KAFKA_HOME/config/server.properties &  打印日志启动

　　　　　　　　kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties & 不打印日志启动

（3）通过jps查看是否启动

5.测试

（1）通过创建一个topic（名字为test）来测试是否能成功运行，随便选择一个节点运行

kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

（2）列出kafka：kafka-topics.sh --list -zookeeper 192.168.195.132:2181。有刚刚的测试topic名，表示创建成功。

kafka-topics.sh --list -zookeeper 192.168.0.10:2181