Kafka常用命令

kafka交互式命令使用

• 查看topic

/bin/kafka-topics.sh --list --zookeeper 192.168.58.171:2181,192.168.58.177:2181,192.168.58.178:2181

• 查看指定topic

/bin/kafka-topics.sh --describe --zookeeper 192.168.58.171:2181,192.168.58.177:2181,192.168.58.178:2181 --topic my_topic

•  创建topic

/bin/kafka-topics.sh --create --zookeeper 192.168.58.171:2181,192.168.58.177:2181,192.168.58.178:2181 --replication-factor 5 --partitions 10 --topic test_topic

--create:表示创建
--zookeeper：zk的集群节点
--replication-factor 1:表示复本数。如果设置了3个复制因子，那么最多2个相关的服务器能出问题,否则将无法访问数据。建议使用2,3个复制因子
--partitions 1:表示分区数。每个分区属于一台服务器，partition会影响Consumer的最大并行度。建议设置成broker的整数倍。
--topic item_topic:表示topic的名称

如有发生创建不了的情况

错误：Error while executing topic command : Replication factor: 1 larger than available brokers: 0.

请查看zookeeper配置是否正确

• 删除topic

/bin/kafka-topics.sh --delete --zookeeper 192.168.58.171,192.168.58.177,192.168.58.178 --topic my_topic

•  查看topic内容

bin/kafka-console-consumer.sh --bootstrap-server 192.168.58.177:9092 --topic my_topic --from-beginning

• 创建生产者，生产消息

• 生产者发送消息的三种方式
  1. 同步阻塞
  2. 异步发送，发送并忘记
  3. 异步发送，发送回掉处理

/bin/kafka-console-producer.sh --broker-list 192.168.58.177:9092 --topic my_topic

• 查看消费者组

./kafka-consumer-groups.sh --bootstrap-server 192.168.58.177:9092 --list

•  查看消费者组消费情况

./kafka-consumer-groups.sh --bootstrap-server 192.168.58.177:9092 --describe --group test

•  创建消费者，消费消息 #--consumer-property group.id=my-consumer-g

/bin/kafka-console-consumer.sh --bootstrap-server 192.168.58.177:9092 --topic my_topic --partition 0 --offset 0