Kafka笔记

Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域 消息队列好处： 解耦，可扩展性，缓冲，削峰

生产者生产消息 消费者消费消息 Kafka集群管理消息 Zookeeper注册消息 同一个分区的数据，同时只能被同一个组里面的某一个消费者所消费 Zookeeper作用：帮助kafka群组存储一些信息，帮助消费者存储消费到的位置信息 推和拉（消费者）两种模式

群起kafka [atguigu@hadoop102 kafka]$ bin/kafka-server-start.sh config/server.properties

Kafka中消息是以topic进行分类的，生产者生产消息，消费者消费消息，都是面向topic的 topic是逻辑上的概念，而partition是物理上的概念，每个partition对应一个log文件

通过二分查找法定位offset的message

HW只能保证副本之间的数据的一致性，并不能保证数据不丢失或者不重复

ack 0,1,-1 ISR :HW ,LEO

 

P19

陆续更新中。。