zoukankan      html  css  js  c++  java
  • Topics类型配置

    配置项
    备注
    segment.bytes 分段文件大小,最大2GB
    segment.ms 强制新建段文件间隔阀值时间
    segment.jitter.ms

    段文件抖动时间

    segment.index.bytes 段索引文件大小
    flush.messages

    此项配置指定时间间隔:强制进行fsync日志

    flush.ms 消息刷新磁盘的间隔时间
    retention.bytes

    topic每个分区的最大文件大小,一个topic的大小限制 = 分区数 * retention.bytes

    retention.ms

    如果使用“delete”的retention策略,这项配置就是指删除日志前日志保存的时间。

    index.interval.bytes

    当执行一个fetch操作后,需要一定的空间来扫描最近的offset大小,设置越大,代表扫描速度越快,但是也更耗内存,一般情况下不需要改变这个参数。

    delete.retention.ms

    日志清理的频率控制,单位为毫秒

    min.compaction.lag.ms

    消息在日志中保持未压缩的最短时间。 仅适用于正在压缩的日志。

    min.cleanable.dirty.ratio

    此配置控制日志压缩程序将尝试清除日志的频率

    cleanup.policy

    此配置可以设置成delete或compact。如果设置为delete,当log segment文件的大小达到上限,或者roll时间达到上限,文件将会被删除。如果设置成compact,则此文件会被清理,标记成已过时状态

    file.delete.delay.ms

    从文件系统中删除文件之前等待的时间

    unclean.leader.election.enable

    是否将不在ISR中的副本作为最后的手段选举为leader,即使这样做可能会导致数据丢失。

    min.insync.replicas

    当生产者设置应答为"all"(或“-1”)时,此配置指定了成功写入的副本应答的最小数。

    max.message.bytes

    kafka允许的最大的消息批次大小。如果增加此值,并且消费者的版本比0.10.2老,那么消费者的提取的大小也必须增加,以便他们可以获取大的消息批次。

    compression.type

    针对指定的topic设置最终的压缩方式。标准的压缩格式有gzip,snappy, lz4。还可以设置uncompressed,就是不压缩;设置为producer这意味着保留生产者设置的原始压缩编解码。

    preallocate

    创建新的日志段时在磁盘上预分配该文件,那么设为True。

    message.format.version 指定消息附加到日志的消息格式版本。该值应该是一个有效的ApiVersion。例如:0.8.2, 0.9.0.0, 0.10.0,更多细节检查ApiVersion。通过设置特定的消息格式版本,并且磁盘上的所有现有消息都小于或等于指定版本。不正确地设置此值将导致消费者使用旧版本,因为他们将接收到“不认识”的格式的消息。
    message.timestamp.type

    定义消息中的时间戳是消息创建时间还是日志追加时间,该值应该是“CreateTime”或“LogAppendTime”

    message.timestamp.difference.max.ms

    broker收到消息时的时间戳和消息中指定的时间戳之间允许的最大差异。 如果log.message.timestamp.type = CreateTime,如果时间戳的差值超过此阈值,则会拒绝接受这条消息。 如果log.message.timestamp.type = LogAppendTime,则忽略此配置。允许的最大时间戳差异不应大于log.retention.ms,以避免不必要地频繁进行日志滚动。

    message.downconversion.enable 此配置控制是否启用消息格式的下转换以满足消费请求。
    leader.replication.throttled.replicas 在leader方面进行限制的副本列表。该列表设置以[PartitionId]的形式描述限制副本:[PartitionId]:[BrokerId],[PartitionId]:[BrokerId]:...或使用通配符‘*’限制该topic的所有副本。
    follower.replication.throttled.replicas follower复制限流列表。该列表设置以[PartitionId]的形式描述限制副本:[PartitionId]:[BrokerId],[PartitionId]:[BrokerId]:...或使用通配符‘*’限制该topic的所有副本。

    引用博客来自李志涛:https:////www.cnblogs.com/lizherui/p/12056792.html

  • 相关阅读:
    经典SQL语句大全 学者必看
    13个SQL优化技巧
    全面解析SQL SERVER 的左右内连接
    ORM框架
    JPA SQL 的复杂查询createNamedQuery
    SQL 复杂查询
    前端学习(十三)js运算符(笔记)
    前端学习(十二)js数据类型(笔记)
    前端学习(十一)函数(笔记)
    前端学习(十)初识js(笔记)
  • 原文地址:https://www.cnblogs.com/lizherui/p/12056792.html
Copyright © 2011-2022 走看看