2、kafka副本集
kafka副本集是指将日志复制多份
kafka可以为每个Topic设置副本集
Kafka可以通过配置设置默认副本集数量。
3、集群概念介绍
Broker: 一般指Kafka的部署节点
Leader: 用于处理消息的接收和消费等请求。
Follower:主要用于备份消息数据。
Kafka拓扑结构图:
4、Kafka节点故障
Kafka与zookeeper心跳未保持视为节点故障。
follower消息落后leader太多也视为节点故障。(如leaer有10000条,follow二有9000条,相差1000条,任务是故障状态)
kafka会对故障节点进行移除。
5、kafka节点故障处理
kafka基本不会因为节点故障而丢失数据
kafka的语义担保也很大程度上避免数据丢失。
kafka会对消息进行集群内平衡,减少消息在某个节点热度过高。
6、kafka集群之Leader选举
kafka并没有采用多数投票来选举leader
kafka会动态维护一组leader数据的副本(ISR)
kafka会在ISR中选择一个速度比较快的设为leader
Leader选举配置建议
禁用“unclean leader"选举
手动指定最小ISR