1.kafka初始、架构模型、角色功能

kafka是消息中间件

为什么什么用kafka

1.service 到service 强一致性
2.service -> 消息中间件(分布式、可靠性、可扩展、高性能) -> service可以3.消息中间件：解耦、削峰、填谷，消息中间件会有1.单点问题、2.性能问题
 

AKF

x轴  集群: 1.副本 2. 读写分离 
y轴 topic
z轴 partition : 1.分区内部有序、2.分区外部无序

只要是集群，就需要协调，就需要用到zookeeper的分布式协调
kafka1.0以前元数据在zk，1.0以后元数据在kafka(每个broker都有一份metadata),既client连接kafka，不在连接zk

kafka一些知识点

1.produce生产数据到kafka的broker的对应分区中
2.数据的重复利用是站在Group上的：消费者有分组概念，比如A组消费的数据进入mysql，B组的数据进入ES
3.partition和组内的consumer 关系： 1:1 或者N：1   不能1：N 因为不保证顺序性。
4.topic 的runtime内存维护了自己的offset(偏移量进度)，需要持久化： topic自己维护offset，单独开了一个分区用来存储

在consumer消费的时候回出现数据的丢失和重复消费，请问怎么解决呢？

维护好各自分区内的offset
1.默认是异步保存，5s保存一次。a.如果先干活，持久化offset失败了，则重复消费。b.持久化offset成功了，干活失败，则丢失数据。


解决办法：
1.同步消费，业务操作控制offset持久化
    a.单条消费：同步更新offset
    b.批量消费：批量数据 + 事务，更新最后一条offset

注意: offset是按分区粒度进行的。