Kafka

一、Kafka介绍

1.kafka简介

1.1 Kafka是一个分布式消息队列。

1.2kafka集群和consumer都依赖zookeeper保存meta信息。

1.3kafka通信协议基于TCP协议

二、kafka工作流程分析

1.工作流程总体分析

producer:生产者

consumer:消费者

broker:topic、partition

topic：分区和副本。

zookeeper:注册消息

2.kafka生产过程分析

Replication：副本

ACK机制:设置为all:生产者不丢数据。

3.broker保存数据

4.消费过程分析

 4.1高级和低级API

区别：能够自行控制offset

4.2消费者组：group.id

同一个消费组消费者不能消费同一分区数据，可消费不同分区数据。

4.3消费方式

pull从broker拉取数据消费。

4.4消费者组案例

5.小结

三、低级API

1.低级消费者API思路