zoukankan      html  css  js  c++  java
  • kafka学习总结002 --- kafka基础架构及相关概念理解

    话不多说直接上图

    相关概念

    1、broker

    kafka集群实例,前面的随笔中说过通过broker.id可以配置broker ID

    2、topic

    主题,用来在存储消息时区分不同类型的消息

    3、partition

    分区,归属于topic,不同的分区分布在kafka集群的不同节点上,可以提高kafka集群负载分担能力

    4、replication

    副本,为了提升kafka消息可靠性,每个topic的分区都可以指定副本(在创建topic时能够指定副本个数),并且副本一定和Leader分区不在同一个节点上;

    (在同一个节点没有任何意义,因为如果kafka集群内某个节点挂掉,副本也就不存在了)

    5、Leader和follower

    topic分区有多个副本,其中一个副本为Leader,其余的都为follower,并且follower和Leader不在同一个节点上,Leader节点故障时,从follower中选取一个作为Leader

    Leader的选取机制在后面介绍

    6、consumer group --- 消费者组

    同一个消费者组内的消费者有如下特点:一个分区内的数据只能被消费者组内的一个消费者消费,这样做是为了提高消费效率

    一般来说消费者组内消费者的个数应该和分区个数相同,多余的消费者也只能闲置,造成资源浪费

  • 相关阅读:
    TCP/IP 协议体系结构模型
    A*算法详解
    导航规划之CH算法介绍
    Crp(customizable route planning) 算法介绍
    机器学习面试题总结(笔记)
    机器学习面试问题总结
    机器学习面试常见问题
    seata-微服务集成seata
    seata-部署seata连接nacos
    Sentinel授权规则-规则管理三种模式
  • 原文地址:https://www.cnblogs.com/sniffs/p/13006557.html
Copyright © 2011-2022 走看看