zoukankan      html  css  js  c++  java
  • kakfa-性能相关

    1.增大partition最大连接数

      kafka的集群有多个Broker服务器组成,每个类型的消息被定义为topic,同一topic内部的消息按照一定的key算法被分区(partition)存储在不同的Broker上,消息生产者producer和消费者consumer可以在多个Broker上生产/消费topic,kafka的读写单位为partition。

    2.增加磁盘挂载数

      将log数据分布到不同磁盘的多个目录上。

    3.避免与其他服务共享磁盘

      避免影响io数据

    4.增加处理网络io数

      num.network.threads    主要处理网络io,读写缓冲区数据,基本没有io等待,配置线程数量为cpu核数加1.

    5.增加处理磁盘io操作数

      num.io.threads  主要进行磁盘io操作,高峰期可能有些io等待,因此配置需要大些。配置线程数量为cpu核数2倍,最大不超过3倍.

    6.调整数据文件刷新策略

      log.flush.interval.messages=10000   ##每当写入10000条数据时

      log.flush.interval.ms=1000  ##每间隔1秒时

      

  • 相关阅读:
    bzoj3832
    bzoj2117
    bzoj1095
    BZOJ 4247: 挂饰 题解
    1296: [SCOI2009]粉刷匠
    3163: [Heoi2013]Eden的新背包问题
    2287: 【POJ Challenge】消失之物
    1334: [Baltic2008]Elect
    2748: [HAOI2012]音量调节
    1606: [Usaco2008 Dec]Hay For Sale 购买干草
  • 原文地址:https://www.cnblogs.com/wenchengxiaopenyou/p/5521810.html
Copyright © 2011-2022 走看看