zoukankan      html  css  js  c++  java
  • Kafka的相关说明

    一:kafka配置信息

      1.配置说明:

        Broker的配置信息server.properties

          Socket Server Setting:

            port=9092

          Log Basics:

            log.dirs=/home/alex/tmp/kafka-logs

            num.partitions=1

          Log Flush Polocy:日志刷盘策略有两种:

            消息的个数达到10000个,实现刷盘

              log.flush.interval.messages=10000

            消息的时间间隔达到1s,实现刷盘

              log.flush.interval.ms=1000

          Log Retention Policy:日志保留策略,有以下几种

            设置日志保留的默认时间为一周

              log.retention.hours=168

            日志大小默认为1G

              log.retention.bytes=1073741824

            日志段文件的最大大小

              log.segment.bytes=1073741824

            检查日志段的间隔时间为5分钟,以查看它们是否可以根据删除保留政策

              log.retention.check.interval.ms=300000

    二:Partition分区数和Broker数关系

      1.如果Partition数等于Broker数

        kafka集群比较均衡

      2.如果Partition数小于Broker数

        某个Broker节点上不存在当前topic的分区,Broker节点可能被闲置,最终导致Kafka集群吞吐率下降

      3.如果Partition数大于Broker数

        抛异常 java.lang.IllegalArgumentException: Invalid partition given with record: 1 is not in the range [0...0].

    三:kafka“推拉”模式

    Kafka选择由producer向broker push消息并由consumer从broker pull消息。
    push模式的目标是尽可能以最快速度传递消息;
    pull模式则可以根据consumer的消费能力以适当的速率消费消息。
  • 相关阅读:
    带花树
    pxe+kickstart部署多个版本的Linux操作系统(上)---原理篇
    GO学习——安装编译(1)
    git学习——Github关联(2)
    你可能不知道的printf
    Linux中的文件查找技巧
    C语言入坑指南-被遗忘的初始化
    Linux常用命令-解压缩篇
    Linux常用命令-文本查看篇
    C语言的main函数到底该怎么写
  • 原文地址:https://www.cnblogs.com/lyr999736/p/10801602.html
Copyright © 2011-2022 走看看