在上一篇kafka简介的基础之上,本篇主要介绍如何快速的运行kafka。
在进行如下配置前,首先要启动Zookeeper。
配置单机kafka
1.进入kafka解压目录
2.启动kafka
binwindowskafka-server-start configserver.properties
3.创建Topic和查看机器上topic
binwindowskafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topic1 binwindowskafka-topics --list --zookeeper localhost:2181
4.发送数据
binwindowskafka-console-producer --broker-list localhost:9092 --topic topic1
5.开始消费数据
binwindowskafka-console-consumer --bootstrap-server localhost:9092 --topic topic1 --from-beginning
配置kafka集群
1.复制server.properties文件,并修改文件配置
broker.id=2 listeners=PLAINTEXT://:9094 log.dirs=E:kafka_2.11-0.10.2-2log
2.启动kafka
binwindowskafka-server-start configserver-1.properties binwindowskafka-server-start configserver-2.properties
3.创建topic,然后查看集群详细信息
binwindowskafka-topics --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic topic-cluster binwindowskafka-topics --describe --zookeeper localhost:2181 --topic topic-cluster
第一行详细描述topic-cluster这个topic的集群信息。主要包括topic名称、分区数目、复制因子。后面的每一行描述一个分区信息,Partition:0表示该分区编号为0;Leader:0,表示该分区的Leader的broker.id为0;replicas为所在的broker.id;该分区的ISR为0、1、2.
4.向kafka集群发送数据
binwindowskafka-console-producer --broker-list localhost:9092 --topic topic-cluster
5.开始消费数据
binwindowskafka-console-consumer --bootstrap-server localhost:9092 --topic topic-cluster --from-beginning
6.测试kafka集群失败恢复 杀死leader进程
7.查看集群信息
binwindowskafka-topics --describe --zookeeper localhost:2181 --topic topic-cluster
此时可以发现,该分区的Leader和ISR都发生了改变.
8.重新消费数据
binwindowskafka-console-consumer --bootstrap-server localhost:9092 --topic topic-cluster --from-beginning