zoukankan      html  css  js  c++  java
  • kafka选择分区的原则:

    选择分区的原则:

      1.主题需要多大的吞吐量,是希望每秒写入100kb,还是1GB

      2.从单个分区读取数据的最大吞吐量,数据写入数据库的速度不会超过每秒50M,所以从一个分区读数据的速度也不要超过50M

      3.可以估算生产者向单个分区写入数据的吞吐量,生产者的速度一般比消费者快,最高为生产者多估算一些量。

      4.每个broker包含的分区个数,可用磁盘空间和网络带宽

      5.若消息按照不同的键来写入分区,那么为已有的主题新增分区就很困难

      6.单个broker对分区个数是有限制,因为分区越多,占用的内存越多,完成首领的选举需要更长的时间。

    使用主题吞吐量除以消费者吞吐量算出分区个数。也就是每秒从主题上写入和读取1GB的数据,并且每个消费者每秒钟可以处理50MB数据。那么至少需要20个分区,这样20个消费者同时读取这些分区,从而达到每秒1GB的数据。

    如果不知道以上信息,最好把分区大小限制再25GB以内可以得到比较理想得效果。

  • 相关阅读:
    linux进阶1
    linux中使用mysql数据库
    计算机是如何启动的
    宿主机mount虚拟机镜像文件
    SHA1算法原理
    KVM初始化过程
    关于内存对齐
    thread_info&内核栈
    gradlew compileDebug --stacktrace -info
    Android listview子控件的的点击事件(转)
  • 原文地址:https://www.cnblogs.com/huiandong/p/10065508.html
Copyright © 2011-2022 走看看