zoukankan      html  css  js  c++  java
  • topic的相关操作

    1.建立topic

    cd 进入kafka的安装根目录的bin目录下

    执行:./kafka-topics.sh --zookeeper ip:port,ip:port,ip:port/kafka-test --create --topic topicname --partitions 4 -replication-factor 1 -config retention.ms=864000000

    注解:./kafka-topics.sh>启动命令。ip:port>zk的ip和端口号。kafka-test>kafka在zk里面注册的组名。partitions>topic分区数量可自定义。replication-factor>备份数。retention.ms>数据保存时间。

    2.删除topic

    cd 进入kafka的安装根目录的bin目录下

    执行:./kafka-topics.sh --delete --zookeeper ip:port,ip:port,ip:port/kafka-test --topic topicname

    3.删除topic的log文件

    cd 进入kafka的安装根目录的config目录下

    执行:more server.properties。找到Log Basics下的log.dirs=/x/x/x 存储log的路径,找到对应目录删除对应的文件夹即可,topic分区数量决定文件夹的数量,通常为多个,如果有多台kafka,均匀分布。

    4.修改topic的offset数,重启相关应用程序后可以从你指定的offset位置开始读数据。

    进入zookeeper的命令行空间,通常是运行./Zkclent.sh 进入zk的操作命令行,

    set /consumers/testgroup/offsets/test/0 666

    set /consumers/你的kafka组/offsets/topic名字/分区 offset值

    5.查看所有topic

    cd 进入kafka的安装目录的bin目录下

    执行:./kafka-topics.sh --list --zookeeper ip:port,ip:port,ip:port/kafka在zk里面注册的组名

    6.计算kafka集群分区数量。

    我们可以粗略地通过吞吐量来计算kafka集群的分区数量。假设对于单个partition,producer端的可达吞吐量为p,Consumer端的可达吞吐量为c,期望的目标吞吐量为t,那么集群所需要的partition数量至少为max(t/p,t/c)。在producer端,单个分区的吞吐量大小会受到批量大小、数据影响。

    7.创建生产和消费者

    cd 进入kafka的安装目录的bin目录下

    生产者创建执行:./kafka-console-producer.sh --broker-list zk集群的ip和port --topic topicname

    消费者创建执行:./kafka-console-consumer.sh --zookeeper ip:port,ip:port,ip:port --from-beginning --topic topicname

    8.实时接收topic内的数据到指定文件内

    kafka-console-consumer.sh --topic topicname --zookeeper ip:port,ip:port,ip:port/kafka-test >>/xxx/xxx/TEST.txt

    也可只存最后10条

    kafka-console-consumer.sh  --zookeeper ip:port,ip:port,ip:port/kafka-test --topic topicname --max-messages 10>>/xxx/xxx/TEST.txt

  • 相关阅读:
    插入数据失败提示: Setting autocommit to false on JDBC Connection 自动提交失败
    MyBatis XML配置properties
    mybatis 测试输出SQL语句到控制台配置
    原创:mysql5 还原至mysql 8.0.11数据库链接配置提示错误(修改内容有三处
    idea 快捷键汇总
    maven依赖配置和依赖范围
    pom.xml 配置 收藏
    单词的提取
    UVA10815 安迪的第一个字典 Andy's First Dictionary
    UVA11054 Gergovia的酒交易 Wine trading in Gergovia
  • 原文地址:https://www.cnblogs.com/lccyb/p/9406988.html
Copyright © 2011-2022 走看看