Kafka（v0.11）笔记

1.消费者用--bootstrap-server方式启动，消费的偏移量offset保存在broker的一个主题_consumer_offsets里，此主题默认50个分区。

2.zk中的version-2文件夹存储了关于kafka的一些数据。

3.server.properties里的log.dir项配置的是主题里的数据，而不是日志。日志文件夹会自动生成，无需配置。

4.kafka是基于发布订阅模式的消息中间件，由消费者根据自身的消费能力，主动拉取数据，需要维护一个长轮询。

生产者

5.不同分区数据的便宜量都是从0开始，没有一个全局的统一偏移量。

6.生产者分区原则。我们需要将 producer 发送的数据封装成一个 ProducerRecord 对象。
　　①指明 partition 的情况下，直接将指明的值直接作为 partiton 值；
　　②没有指明 partition 值但有 key 的情况下，将 key 的 hash 值与 topic 的 partition数进行取余得到 partition 值；
　　③既没有 partition 值又没有 key 值的情况下，第一次调用时随机生成一个整数（后面每次调用在这个整数上自增），将这个值与 topic 可用的 partition 总数取余得到 partition值，也就是常说的 round-robin 算法。

7.ISR副本同步队列，保证生产者发送数据的可靠性。ISR中包括leader和follower，如果leader进程挂掉，会在ISR队列中选择一个服务作为新的leader。通过replica.lag.max.messages（延迟条数） 和replica.lag.time.max.ms（延迟时间）两个参数决定一台服务是否可以加入ISR副本队列，在0.10版本移除了replica.lag.max.messages参数，防止服务频繁的进出队列。因为kafka的数据是批次发送的，倘若某一批的数据条数超过了replica.lag.max.messages，则所有ISR中的follower都会被移出ISR，而当它们同步完成后又都会加入ISR，导致频繁进出ISR。

8.ack 应答机制，保证生产者发送数据的可靠性。对于某些不太重要的数据，对数据的可靠性要求不是很高，能够容忍数据的少量丢失，所以没必要等 ISR 中的 follower 全部接收成功。所以 Kafka 为用户提供了三种可靠性级别，用户根据对可靠性和延迟的要求进行权衡，选择以下的配置。acks 参数配置：
0：producer 不等待 broker 的 ack，这一操作提供了一个最低的延迟，broker 一接收到还没有写入磁盘就已经返回，当 broker 故障时有可能丢失数据；
1：producer 等待 broker 的 ack，partition 的 leader 落盘成功后返回 ack，如果在 follower同步成功之前 leader 故障，那么将会丢失数据；
-1（all）：producer 等待 broker 的 ack，partition 的 leader 和 follower 全部落盘成功后才返回 ack。但是如果在 follower 同步完成后，broker 发送 ack 之前，leader 发生故障，那么会造成数据重复。特殊情况下，leader虽然有多个follower，但follower都不在ISR中，也会造成acks=1时的场景，leader落盘后就返回ack，造成数据丢失。

9.HW(High Watermark) 和LEO(Log End Offset)，保证消费者消费数据的一致性。LEO：指的是每个副本最大的 offset；HW：指的是消费者能见到的最大的 offset，ISR 队列中最小的 LEO。
①follower故障。follower 发生故障后会被临时踢出ISR，待该 follower 恢复后，follower 会读取本地磁盘记录的上次的 HW，并将 log 文件高于 HW 的部分截取掉，从 HW 开始向 leader 进行同步。等该 follower 的 LEO 大于等于该 Partition 的 HW，即 follower 追上 leader 之后，就可以重新加入 ISR 了。
②leader故障。leader 发生故障之后，会从ISR中选出一个新的leader，之后，为保证多个副本之间的数据一致性，其余的 follower 会先将各自的 log 文件高于 HW 的部分截掉，然后从新的 leader同步数据。
注意：这只能保证副本之间的数据一致性，并不能保证数据不丢失或者不重复。

10.Exactly Once 语义。将服务器的 ACK 级别设置为-1，可以保证 Producer 到 Server 之间不会丢失数据，即 AtLeast Once 语义。相对的，将服务器 ACK 级别设置为 0，可以保证生产者每条消息只会被发送一次，即 At Most Once 语义。At Least Once 可以保证数据不丢失，但是不能保证数据不重复；相对的，At Least Once可以保证数据不重复，但是不能保证数据不丢失。但是，对于一些非常重要的信息，比如说交易数据，下游数据消费者要求数据既不重复也不丢失，即 Exactly Once 语义。在 0.11 版本以前的 Kafka，对此是无能为力的，只能保证数据不丢失，再在下游消费者对数据做全局去重。对于多个下游应用的情况，每个都需要单独做全局去重，这就对性能造成了很大影响。0.11 版本的 Kafka，引入了一项重大特性：幂等性。所谓的幂等性就是指 Producer 不论向 Server 发送多少次重复数据，Server 端都只会持久化一条。幂等性结合 At Least Once 语义，就构成了 Kafka 的 Exactly Once 语义。即：
　　At Least Once + 幂等性 = Exactly Once
要启用幂等性，只需要将 Producer 的参数中 enable.idompotence 设置为 true 即可。Kafka的幂等性实现其实就是将原来下游需要做的去重放在了数据上游。开启幂等性的 Producer 在初始化的时候会被分配一个 PID（生产者id），发往同一 Partition 的消息会附带 Sequence Number。而Broker 端会对<PID, Partition, SeqNumber>做缓存，当具有相同主键的消息提交时，Broker 只会持久化一条。
　　但是 PID 重启就会变化，同时不同的 Partition 也具有不同主键，所以幂等性无法保证跨分区跨会话的 Exactly Once。

消费者

　　一个 consumer group 中有多个 consumer，一个 topic 有多个 partition，所以必然会涉及到 partition 的分配问题，即确定那个 partition 由哪个 consumer 来消费。Kafka 有两种分配策略，一是 RoundRobin，一是 Range（默认策略）。

　　RoundRobin：将消费者组所消费的所有主题的所有分区合在一起，按hash值依次消费。优点是分配均匀，缺点是如果消费者组中的某些消费者订阅的主题不一样，可能会消费到没订阅的主题。

　　Range：按照订阅的主题精确分配，每次从第一个消费者开始分配。优点是消费主题不会错乱，缺点是第一个消费者可能数据倾斜。

 

11.由于 consumer 在消费过程中可能会出现断电宕机等故障，consumer 恢复后，需要从故障前的位置的继续消费，所以 consumer 需要实时记录自己消费到了哪个 offset，以便故障恢复后继续消费。Kafka 0.9 版本之前，consumer 默认将 offset 保存Zookeeper 中，从 0.9 版本开始，

consumer 默认将 offset 保存在 Kafka 一个内置的 topic 中，该 topic 为__consumer_offsets。

 

 

　　示例：在zk中查看消费者组

console-consumer-70054，对bigdata主题0号分区的offset

[zk: localhost:2181(CONNECTED) 1] get /consumers/console-consumer-70054/offsets/bigdata/0
1
cZxid = 0x4400000069
ctime = Mon May 04 02:07:12 CST 2020
mZxid = 0x4400000069
mtime = Mon May 04 02:07:12 CST 2020
pZxid = 0x4400000069
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 1
numChildren = 0

 　　示例：从__consumer_offsets中读取消费者组的offset

bin/kafka-console-consumer.sh --topic __consumer_offsets --zookeeper hadoop102:2181 --formatter "kafka.coordinator.group.GroupMetadataManager$OffsetsMessageFormatter" --consumer.config config/consumer.properties --from-beginning