zoukankan      html  css  js  c++  java
  • kafka集群partition分布原理分析(转发)

    原文:https://www.cnblogs.com/wxd0108/p/6519973.html

    1. Kafka集群partition replication默认自动分配分析

    下面以一个Kafka集群中4个Broker举例,创建1个topic包含4个Partition,2 Replication;数据Producer流动如图所示:

    (1)

     

    (2)当集群中新增2节点,Partition增加到6个时分布情况如下:

    副本分配逻辑规则如下:

    • 在Kafka集群中,每个Broker都有均等分配Partition的Leader机会。
    • 上述图Broker Partition中,箭头指向为副本,以Partition-0为例:broker1中parition-0为Leader,Broker2中Partition-0为副本。
    • 上述图种每个Broker(按照BrokerId有序)依次分配主Partition,下一个Broker为副本,如此循环迭代分配,多副本都遵循此规则。
    副本分配算法如下:
    • 将所有N Broker和待分配的i个Partition排序.
    • 将第i个Partition分配到第(i mod n)个Broker上.
    • 将第i个Partition的第j个副本分配到第((i + j) mod n)个Broker上.
  • 相关阅读:
    no.5.print sum
    0.1 hint crack
    no.4 抽奖测试
    no2.crossdomain.xml批量读取(待完善)
    no.1
    day7-读写分离
    day6-主从
    day5-备份
    day4-用户授权
    Day3-体系结构+查询+导入/出
  • 原文地址:https://www.cnblogs.com/panpanwelcome/p/13590135.html
Copyright © 2011-2022 走看看