Kafka 一些优化措施

线程数

在kafka/config/server.properties中配置

#计算密集任务所需线程
# The number of threads that the server uses for receiving requests from the network and sending responses to the network
num.network.threads=3
#IO密集任务所需线程
# The number of threads that the server uses for processing requests, which may include disk I/O
num.io.threads=8

如果服务器cpu核心为 X ,那么

　　　　计算密集任务所需线程 =  X

　　　　IO密集任务所需线程 = 2 * X

消息清除策略

在kafka/config/server.properties中配置

log.cleanup.policy=delete#启用删除策略
#直接删除，删除后的消息不可恢复。可配置以下两个策略：
#清理超过指定时间清理： 
log.retention.hours=16
#超过指定大小后，删除旧的消息：
log.retention.bytes=1073741824

一般日志服务器会保留数据30天，所以没必要kakfa保存7天，3天就够了，，如果数据丢失可以从日志服务器中取

上面的是默认策略，其实还有一个策略，

compact策略

它并不是指通过压缩算法对日志文件进行压缩，而是对重复的日志进行清理来达到目的。在日志清理过程中，会清理重复的key，最后只会保留最后一条key，可以理解为map的put方法。在清理完后，一些segment的文件大小就会变小，这时候，kafka会将那些小的文件再合并成一个大的segment文件。

另外，通过日志清理功能，我们可以做到删除某个key的功能。推送value为null的key到kafka，kafka在做日志清理时就会将这条key从日志中删去。
————————————————
版权声明：本文为CSDN博主「疯狂哈丘」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/u013332124/article/details/82793381

开启压缩

在kafka/config/producer.properties中配置

# specify the compression codec for all data generated: none, gzip, snappy, lz4
compression.type=none

默认是不开启压缩，支持格式有，gzip，snappy，lz4

内存

在 kafka/bin/kafka-server-start.sh  中配置

 默认1G，生产中的经验值为4 到 6 G,

　　最高6G，超过6G效果不明显，这时建议加服务器

 Producer缓冲区优化

在kafka/config/producer.properties中配置

buffer.memory:33554432 (32m)
#在Producer端用来存放尚未发送出去的Message的缓冲区大小。缓冲区满了之后会阻塞， max.block.ms（默认1个小时）过后将会抛出异常

数据文件刷写策略

在server.properties中配置

# 每当producer写入10000条消息时，刷数据到磁盘 
log.flush.interval.messages=10000
# 每间隔1秒钟时间，刷数据到磁盘
log.flush.interval.ms=1000

 消息大小

kafka对于消息体的大小默认为单条最大值是1M但是在我们应用场景中, 常常会出现一条消息大于1M，如果不对kafka进行配置。则会出现生产者无法将消息推送到kafka或消费者无法去消费kafka里面的数据,

#producer.properties：
#也可以在创建topic时动态设置    
max.request.size=5242880（5M）    
#server.properties    
message.max.bytes=6291456（6M）    
#consumer.properties：    
fetch.max.bytes=7340032（7M）    
 
    
#max.request.size < message.max.bytes < fetch.max.bytes

https://blog.csdn.net/zchdjb/article/details/101442939 参考来源