1. 查看所有topic
kafka-topics.sh --zookeeper hadoop3 --list
2. 创建tooic及topic的partitioner
./kafka-topics.sh --zookeeper hadoop3:2181,hadoop4:2181,hadoop5:2181,hadoop6:2181,hadoop7:2181,hadoop8:2181,hadoop9:2181 --create --topic check-data --partitions 21 --replication-factor 2
说明:在集群模式中，partitioner可以根据集群节点的磁盘空间大小和kafka server这个配置log-dir=/data/kafka-log,/data01/kafka-log,/data02/kafka-log 两个结合来控制partitions个数，这样做可以提高性能和避免一个partitions被撑爆
3. 查看kafka中的偏移量
kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list ynjz003:9092,ynjz004:9092,ynjz005:9092,ynjz006:9092,ynjz007:9092,ynjz008:9092,ynjz009:9092 --topic ynjz-data --time -1
说明:该条命令可以查看到kafka的每个partitioner的位置的偏移量，通过这个可以看出kafka的数据摄入能力和大概的数据容量
4. 设置kafka topic 创建数据保存时间:
kafka-configs.sh --zookeeper ynjz003:2181,ynjz004:2181,ynjz005:2181,ynjz006:2181,ynjz007:2181,ynjz008:2181,ynjz009:2181 --entity-type topics --entity-name statistics-data --alter --add-config retention.ms=259200
说明:如果不设置的话，卡夫卡默认保存时间是7天，但在数据量过大，实时处理过程中为了减少数据的积压没必要保存7天，可以根据以上命令设置某个topic数据保存的时间，最后一个参数的单位是秒
5. 查看某个topic在某个消费者的状态
kafka-consumer-offset-checker --zookeeper gawh220:2181,gawh221:2181,gawh222:2181/kafka --topic ori_31_jn_jt_hcpgpxx_zdr --group to_hive_original_new_513
说明：ori_31_jn_jt_hcpgpxx_zdr在消费者to_hive_original_new_513消费状态
这里代表还有1000没有被消费
6. 删除topic及topic的数据
这块较为复杂，可以参考这篇博客 https://blog.csdn.net/belalds/article/details/80575751