1. Kafka下载:
wget https://archive.apache.org/dist/kafka/0.8.1/kafka_2.9.2-0.8.1.tgz
解压 tar zxvf kafka_2.9.2-0.8.1.tgz
(2.9.2为scala的版本 0.8.1为kafka地址)
2.下载安装sbt:
wget http://repo.scala-sbt.org/scalasbt/sbt-native-packages/org/scala-sbt/sbt/0.13.1/sbt.rpm
(有时候下载不了可以到http://dl.bintray.com/sbt/rpm/ 手工下载对应版本)
安装 yum install -y sbt-0.13.1.rpm 或者 rpm -ivh sbt-0.13.1.rpm(which sbt 可以测试环境变量有没)
tar -xvzf kafka_2.9.2-0.8.1.tgz 解压
cd kafka_2.9.2-0.8.1.tgz
sbt update(比较慢)
完成后sbt package
到kafka_2.9.2-0.8.1 的解压目录下面的conf配置 配置文件
1.server.properties (企业通常会修改下图几项)
log.dirs=/opt/soft/kafka/kafka_2.9.2-0.8.1/logs(日志目录。目录自己创建)
zookeeper.connect=master:2181,slave1:2181(对应自己的host 没配置就用IP 配置上集群机器)
producer.properties
metadata.broker.list=master:9092,slave1:9092
consumer.properties
zookeeper.connect=master:2181,slave1:2181
安装配置完成。
同样再配置别的机器比如slave1。
需要scp 配置文件过去 然后server.properties 的broker.id=0要修改为1,和创建下logs的保存文件夹(记得)
启动和测试kafka
1 启动集群zookeeper
cd 到bin目录下 ./kafka-server-start.sh ../config/server.properties 启动kafka进程(master,slave1都启动)
启动成功的话会看到:
启动成功后可以通过jps查看当前挂起的kafka进程
35954 Jps
33829 QuorumPeerMain
35431 Kafka
2452 Main
2.创建kafkatoipc和为其指定partition命令
kafka-topics.sh --zookeeper master:2181,slave1:2181 --topic track_log --replication-factor 2 --partitions 2 --creat
出现‘Created topic "track_log".’即为成功
启动kafka后在zookeeper中可以看到borker目录
查看topic明细
kafka-topics.sh --topic track_log --describe --zookeeper master:2181,slave1:2181
此时leader是相对于border来讲的(每个分区也必须选择出一个leader)
测试生产和消费可以使用命令
kafka-console-producer.sh --broker-list master:9092,slave1:9092 --topic track_log
键入值得
kafka-console-consumer.sh --zookeeper master:2181,slave1:2181 --topic track_log --from-beginning
printf消费的值