kafka的一些常用命令

• 依次在各节点上启动: kafkabin/kafka-server-start.sh  config/server.properties

 

• 查看当前服务器中的所有topic

bin/kafka-topics.sh --list --zookeeper  hadoop01:2181

• 创建topic

bin/kafka-topics.sh --create --zookeeper hadoop01:2181 --replication-factor 1 --partitions 3 --topic CustomerContacts

• 删除topic

bin/kafka-topics.sh --delete --zookeeper hadoop01:2181 --topic CustomerContacts

需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。

• 通过shell命令发送消息

sh bin/kafka-console-producer.sh --broker-list kafka01:9092 --topic test

• 通过shell消费消息

bin/kafka-console-consumer.sh --zookeeper hadoop01:2181 --from-beginning --topic test

• 查看消费位置

bin/kafka-run-cla.ss.sh kafka.tools.ConsumerOffsetChecker --zookeeper zk01:2181 --group testGroup

• 查看某个Topic的详情

bin/kafka-topics.sh --topic test --describe --zookeeper hadoop01:2181

• 对分区数进行修改

kafka-topics.sh --zookeeper  zk01 --alter --partitions 15 --topic   utopic

 

查看当前topic的消费进度

 bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper zk01:2181 --group nt1 --topic master5

 

查看分区的情况：

bin/kafka-topics.sh --describe --zookeeper hadoop01:2181 --topic ConsumerAAAA

 

 

 

 

 

 

0.9版本:

1:查看consumer group列表

查看consumer group列表有新、旧两种命令，分别查看新版(信息保存在broker中)consumer列表和老版(信息保存在zookeeper中)consumer列表，因而需要区分指定bootstrap--server和zookeeper参数：

查看新版(信息保存在broker中)consumer列表：

bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server hadoop01:9092 --list

老版(信息保存在zookeeper中)consumer列表：

bin/kafka-consumer-groups.sh --zookeeper hadoop01:2181 --list

 

2：查看特定consumer group 详情

同样根据新/旧版本的consumer，分别指定bootstrap-server与zookeeper参数:

 

 

新版本

bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server hadoop01:9092 --group CustomerContacts --describe

旧版本

bin/kafka-consumer-groups.sh --zookeeper hadoop01:2181 --group CustomerContacts --describe

 

 

 

删除 consumers

原因: 重置 offset, 或者是强迫症想清空不用的 consumer

操作:

# 进入控制台 bin/zookeeper-shell.sh localhost:2181 # 查看所有消费者 ls /consumers # fuck rmr /consumers/hangou # 再查看 没了 ls /consumers

删除 topics

原因: 腾出空间

操作:

• 物理删除数据

# 进入 server.properties 里配置的数据目录 log.dirs=/data/kafka-logs cd /data/kafka-logs/ # 删除对应 topic 目录, 配置了多少分区这就有多少目录 rm -rf lion_sql-log*

• 删除 zookeeper 里的记录

# 进入控制台 bin/zookeeper-shell.sh localhost:2181 # 查看当前的所有 topics, 发现刚删除的 topics 还在这里躺着 ls /brokers/topics/ # fuck you rmr /brokers/topics/lion_sql-log # 再查看 没了 ls /brokers/topics