zoukankan      html  css  js  c++  java
  • topic的相关操作

    1.建立topic

    cd 进入kafka的安装根目录的bin目录下

    执行:./kafka-topics.sh --zookeeper ip:port,ip:port,ip:port/kafka-test --create --topic topicname --partitions 4 -replication-factor 1 -config retention.ms=864000000

    注解:./kafka-topics.sh>启动命令。ip:port>zk的ip和端口号。kafka-test>kafka在zk里面注册的组名。partitions>topic分区数量可自定义。replication-factor>备份数。retention.ms>数据保存时间。

    2.删除topic

    cd 进入kafka的安装根目录的bin目录下

    执行:./kafka-topics.sh --delete --zookeeper ip:port,ip:port,ip:port/kafka-test --topic topicname

    3.删除topic的log文件

    cd 进入kafka的安装根目录的config目录下

    执行:more server.properties。找到Log Basics下的log.dirs=/x/x/x 存储log的路径,找到对应目录删除对应的文件夹即可,topic分区数量决定文件夹的数量,通常为多个,如果有多台kafka,均匀分布。

    4.修改topic的offset数,重启相关应用程序后可以从你指定的offset位置开始读数据。

    进入zookeeper的命令行空间,通常是运行./Zkclent.sh 进入zk的操作命令行,

    set /consumers/testgroup/offsets/test/0 666

    set /consumers/你的kafka组/offsets/topic名字/分区 offset值

    5.查看所有topic

    cd 进入kafka的安装目录的bin目录下

    执行:./kafka-topics.sh --list --zookeeper ip:port,ip:port,ip:port/kafka在zk里面注册的组名

    6.计算kafka集群分区数量。

    我们可以粗略地通过吞吐量来计算kafka集群的分区数量。假设对于单个partition,producer端的可达吞吐量为p,Consumer端的可达吞吐量为c,期望的目标吞吐量为t,那么集群所需要的partition数量至少为max(t/p,t/c)。在producer端,单个分区的吞吐量大小会受到批量大小、数据影响。

    7.创建生产和消费者

    cd 进入kafka的安装目录的bin目录下

    生产者创建执行:./kafka-console-producer.sh --broker-list zk集群的ip和port --topic topicname

    消费者创建执行:./kafka-console-consumer.sh --zookeeper ip:port,ip:port,ip:port --from-beginning --topic topicname

    8.实时接收topic内的数据到指定文件内

    kafka-console-consumer.sh --topic topicname --zookeeper ip:port,ip:port,ip:port/kafka-test >>/xxx/xxx/TEST.txt

    也可只存最后10条

    kafka-console-consumer.sh  --zookeeper ip:port,ip:port,ip:port/kafka-test --topic topicname --max-messages 10>>/xxx/xxx/TEST.txt

  • 相关阅读:
    Redis集群的搭建
    CAS部署在Windows上
    Loadrunner中Error-26612HTTP Status-Cod
    Coneroller执行时候的-26374及-26377错误
    Loadrunner 26377错误
    歌名也好笑
    loadrunner 中Error和failed transaction 的区别
    loadrunner 性能测试报error-27796的解决
    lr11.0负载测试 real-world schedule 与basic schedule的区别是什么
    LR中错误代号为27796的一个解决方法
  • 原文地址:https://www.cnblogs.com/lccyb/p/9406988.html
Copyright © 2011-2022 走看看