zoukankan      html  css  js  c++  java
  • Kafka中bootstrap-server、broker-list和zookeeper的区别

    参考 Kafka bootstrap-servers vs zookeeper in kafka-console-consumer  中说建议使用新版(新版本指的是kafka 0.8.0之后的版本)的 --bootstrap-server

    Kafka专业术语,参考 Apache kafka 工作原理介绍

    Broker:Kafka 集群包含一个或多个服务器,这种服务器被称为 broker。

    Topic:每条发布到 Kafka 集群的消息都有一个类别,这个类别被称为 Topic。(物理上不同 Topic 的消息分开存储,逻辑上一个 Topic 的消息虽然保存于一个或多个 broker 上,但用户只需指定消息的 Topic 即可生产或消费数据而不必关心数据存于何处)。

    Partition:Partition 是物理上的概念,每个 Topic 包含一个或多个 Partition。

    Producer:负责发布消息到 Kafka broker。

    Consumer:消息消费者,向 Kafka broker 读取消息的客户端。

    Consumer Group:每个 Consumer 属于一个特定的 Consumer Group(可为每个 Consumer 指定 group name,若不指定 group name 则属于默认的 group)。

    《Kafka权威指南》中是这样描述的

    对于消费者,kafka中有两个设置的地方:对于老的消费者,由--zookeeper参数设置;对于新的消费者,由--bootstrap-server参数设置

    如果使用了--zookeeper参数,那么consumer的信息将会存放在zk之中

    查看的方法是使用./zookeeper-client,然后 ls /consumers/[group_id]/offsets/[topic]/[broker_id-part_id],这个是查看某个group_id的某个topic的offset

    如果使用了--bootstrap-server参数,那么consumer的信息将会存放在kafka之中

    对于console生产者--broker-list参数指定了所使用的broker

  • 相关阅读:
    hdoj 2063 过山车
    hdoj 2112 HDU Today
    hdoj 1874 畅通工程续
    hdoj 2544 最短路
    sound of the genuine
    复习webpack的常用loader
    node-sass安装报错
    react-debug
    react-router 4v 路由嵌套问题
    React 中使用sass
  • 原文地址:https://www.cnblogs.com/tonglin0325/p/8810313.html
Copyright © 2011-2022 走看看