zoukankan      html  css  js  c++  java
  • kafka笔记

    修改主题,分区:

    # sh  kafka-topics.sh --zookeeper localhost:2181 --alter --topic  topic02  --partitions 4

    创建 主题,分区:

    kafka-topics.sh --zookeeper 127.0.0.1:2181 --create --topic topic01 --partitions 2 --replication-factor 2
    

      

    查看kafka特定topic的详情,使用--topic与--describe参数

    # sh kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic topic02 --describe 

    查topic

    # bin/kafka-topics.sh --list --zookeeper localhost:2181

    删除topic  

     1、删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录
    2、Kafka 删除topic的命令是:

    # sh kafka-topics.sh --delete --zookeeper  localhost:2181  --topic 主题名称  

    如果kafaka启动时加载的配置文件中server.properties没有配置"delete.topic.enable=true",那么此时的删除并不是真正的删除,而是把topic标记为删除:marked for deletion

    此时你若想真正删除它,可以如下操作:
    (1)登录zookeeper客户端的命令:

    # sh zookeeper-shell.sh 127.0.0.1:2181

    (2)找到topic所在的目录:

    # ls /brokers/topics

    (3)找到要删除的topic,执行如下命令即可,此时topic被彻底删除:

    # rmr /brokers/topics/topic名称
    

      

    另外被标记为marked for deletion的topic你可以在zookeeper客户端中通过命令获得:ls /admin/delete_topics/topic名称,如果你删除了此处的topic,那么marked for deletion 标记消失

    总结:
    彻底删除topic:
     1、删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录

     2、如果配置了delete.topic.enable=true直接通过命令删除,如果命令删除不掉,直接通过zookeeper客户端删除掉broker下的topic即可。

    分区需要手动添加

    一个topic 可以配置几个partition,produce发送的消息分发到不同的partition中,consumer接受数据的时候是按照group来接受,kafka确保每个partition只能同一个group中的同一个consumer消费,如果想要重复消费,那么需要其他的组来消费。Zookeerper中保存这每个topic下的每个partition在每个group中消费的offset 
    新版kafka把这个offsert保存到了一个__consumer_offsert的topic下 
    这个__consumer_offsert 有50个分区,通过将group的id哈希值%50的值来确定要保存到那一个分区.  这样也是为了考虑到zookeeper不擅长大量读写的原因。
    所以,如果要一个group用几个consumer来同时读取的话,需要多线程来读取,一个线程相当于一个consumer实例。当consumer的数量大于分区的数量的时候,有的consumer线程会读取不到数据。 
    假设一个topic test 被groupA消费了,现在启动另外一个新的groupB来消费test,默认test-groupB的offset不是0,而是没有新建立,除非当test有数据的时候,groupB会收到该数据,该条数据也是第一条数据,groupB的offset也是刚初始化的ofsert, 除非用显式的用–from-beginnging 来获取从0开始数据 

  • 相关阅读:
    [转] 美股评论:远离波动的噪音
    [转] GDB 下 watch的使用
    [转] Web性能压力测试工具之ApacheBench(ab)详解
    [转] Ubuntu 12.04下LAMP安装配置 (Linux+Apache+Mysql+PHP)
    [转] 在 Linux 中怎样使用cp命令合并目录树
    [转] postgresql常用命令
    [转] 跟着美联储投资
    [转] 智能指针(三):unique_ptr使用简介
    关于前端开发
    [转] 美股评论:美国散户血泪辛酸
  • 原文地址:https://www.cnblogs.com/lucoo/p/10030599.html
Copyright © 2011-2022 走看看