zoukankan      html  css  js  c++  java
  • kafka基础五

    Kafka与Zookeeper

    Zookeeper存储了什么


    kafka架构中角色:
    1.producer:
      消息生产者,发布消息到 kafka 集群的终端或服务。
    2.broker:
      kafka 集群中包含的服务器。
    3.topic:
      每条发布到 kafka 集群的消息属于的类别,即 kafka 是面向 topic 的。
    4.partition:
      partition 是物理上的概念,每个 topic 包含一个或多个 partition。kafka 分配的单位是 partition。
    5.consumer:
      从 kafka 集群中消费消息的终端或服务。
    6.Consumer group:
      high-level consumer API 中,每个 consumer 都属于一个 consumer group,每条消息只能被 consumer group 中的一个 Consumer 消费,但可以被多个 consumer group 消费。
    7.replica:
      partition 的副本,保障 partition 的高可用。
    8.leader:
      replica 中的一个角色, producer 和 consumer 只跟 leader 交互。
    9.follower:
      replica 中的一个角色,从 leader 中复制数据。
    10.controller:
      kafka 集群中的其中一个服务器,用来进行 leader election 以及 各种 failover。
    12.zookeeper:
      kafka 通过 zookeeper 来存储集群的 meta 信息。

    zookeeper与kafka之间的联系

    1.每个broker在启动之后会在zookeeper中注册也给临时的broker registry,包括了broker的IP地址和端口好,所存储的topic和partitions信息。
    2.每个consumer启动之后会在zookeeper上注册一个临时的consumer registry;包含了consumer所属的consumer group以及订阅的topics
    3.每个consumer group关联一个临时的owner registry和一个持久化的offset registry,对于被订阅的每个partition包含一个owner registry,内容为订阅了这个partition的consumer ID;同时也包含了一个offset registry,内容是上一次订阅的offset,即消费的进度。
    kafka中使用到zookeeper的步骤
    1、producer向zookeeper询问要存储partition的leader
    2、新增topic:controller会在zookeeper的broker/topics节点下注册watch,用来检测topic的变化,如果一个新的topic创建,那么controller就会检测到该topic下的partiton的Leader和replication的变化,并将该更改存储到zookeeper对应的节点下。
    3、Leader选举:controller从zookeeper下的broker/ids读取所有可用的broker列表,并且对于每个set_p中的partition,都会在其所有的replication中任选一个broker作为Leader,并将该选举信息存到zookeeper中。
    4、删除topic:controller会在zookeeper的broker/topics节点下注册watch,用来检测topic的变化,如果一个新的topic被删除,那么controller就会检测到该topic下的partiton的Leader和replication的变化,并将该更改存储到zookeeper对应的节点下。如果被删除的是leader则需要进行重新选举。

  • 相关阅读:
    A1023 Have Fun with Numbers (20分)(大整数四则运算)
    A1096 Consecutive Factors (20分)(质数分解)
    A1078 Hashing (25分)(哈希表、平方探测法)
    A1015 Reversible Primes (20分)(素数判断,进制转换)
    A1081 Rational Sum (20分)
    A1088 Rational Arithmetic (20分)
    A1049 Counting Ones (30分)
    A1008 Elevator (20分)
    A1059 Prime Factors (25分)
    A1155 Heap Paths (30分)
  • 原文地址:https://www.cnblogs.com/ozho/p/10587570.html
Copyright © 2011-2022 走看看