zoukankan      html  css  js  c++  java
  • Kafka的相关说明

    一:kafka配置信息

      1.配置说明:

        Broker的配置信息server.properties

          Socket Server Setting:

            port=9092

          Log Basics:

            log.dirs=/home/alex/tmp/kafka-logs

            num.partitions=1

          Log Flush Polocy:日志刷盘策略有两种:

            消息的个数达到10000个,实现刷盘

              log.flush.interval.messages=10000

            消息的时间间隔达到1s,实现刷盘

              log.flush.interval.ms=1000

          Log Retention Policy:日志保留策略,有以下几种

            设置日志保留的默认时间为一周

              log.retention.hours=168

            日志大小默认为1G

              log.retention.bytes=1073741824

            日志段文件的最大大小

              log.segment.bytes=1073741824

            检查日志段的间隔时间为5分钟,以查看它们是否可以根据删除保留政策

              log.retention.check.interval.ms=300000

    二:Partition分区数和Broker数关系

      1.如果Partition数等于Broker数

        kafka集群比较均衡

      2.如果Partition数小于Broker数

        某个Broker节点上不存在当前topic的分区,Broker节点可能被闲置,最终导致Kafka集群吞吐率下降

      3.如果Partition数大于Broker数

        抛异常 java.lang.IllegalArgumentException: Invalid partition given with record: 1 is not in the range [0...0].

    三:kafka“推拉”模式

    Kafka选择由producer向broker push消息并由consumer从broker pull消息。
    push模式的目标是尽可能以最快速度传递消息;
    pull模式则可以根据consumer的消费能力以适当的速率消费消息。
  • 相关阅读:
    NFS挂载报错
    关于git的reset指令说明-soft、mixed、hard
    nginx关于限制请求数和连接数
    Jenkins初级使用过程中的异常处理(1)
    Jenkins的初级应用(2)-Invoke Phing targets
    Jenkins的初级应用(1)-Publish Over SSH
    解决Jenkins安装的时区问题
    用Ubuntu快速安装Jenkins
    TIME_WAIT状态过多的排查
    在linux环境下用中文查询数据库
  • 原文地址:https://www.cnblogs.com/lyr999736/p/10801602.html
Copyright © 2011-2022 走看看