简介
• Kafka是Linkedin于2010年12月份开源的消息系统
• 一种分布式的、基于发布/订阅的消息系统
• 特点：
– 消息持久化：通过O(1)的磁盘数据结构提供数据的持久化
– 高吞吐量：每秒百万级的消息读写
– 分布式：扩展能力强
– 多客户端支持：java、php、python、c++ ……
– 实时性：生产者生产的message立即被消费者可见
基本组件
• Broker：每一台机器叫一个Broker
• Producer：日志消息生产者，用来写数据
• Consumer：消息的消费者，用来读数据
• Topic：不同消费者去指定的Topic中读，不同的生产者往不同的Topic中写
• Partition：在Topic基础上做了进一步区分分层
Topic
• 一个Topic是一个用于发布消息的分类或feed名，kafka集群使用分区的日志， 每个分区都是有顺序且不变的消息序列。
• commit的log可以不断追加。消息在每个分区中都分配了一个叫offset的id序列来唯一识别分区中的消息。
• 举例：若创建topic1和topic2两个topic，且分别有13个和19个分区，则整个集 群上会相应会生成共32个文件夹
• 无论发布的消息是否被消费，kafka都会持久化一定时间（可配置）。
• 在每个消费者都持久化这个offset在日志中。通常消费者读消息时会使offset值线性的增长，但实际上其位置是由消费者控制，它可以按任意顺序来消费消息。 比如复位到老的offset来重新处理。
• 每个分区代表一个并行单元。
Message
• message（消息）是通信的基本单位，每个producer可以向一个topic（主题）发布一些消息。如果consumer订阅了这个主题，那么新发布的消息就会广播给 这些consumer。
• message format：
– message length : 4 bytes (value: 1+4+n)
– "magic" value : 1 byte
– crc : 4 bytes
– payload : n bytes
Producer
• 生产者可以发布数据到它指定的topic中，并可以指定在topic里哪些消息分配到哪些分区（比如简单的轮流分发各个分区或通过指定分区语义分配key到对应分 区）
• 生产者直接把消息发送给对应分区的broker，而不需要任何路由层。
• 批处理发送，当message积累到一定数量或等待一定时间后进行发送。
Consumer
• 一种更抽象的消费方式：消费组（consumer group）
• 该方式包含了传统的queue和发布订阅方式
– 首先消费者标记自己一个消费组名。消息将投递到每个消费组中的某一个消费者实例上。
– 如果所有的消费者实例都有相同的消费组，这样就像传统的queue方式。
– 如果所有的消费者实例都有不同的消费组，这样就像传统的发布订阅方式。
– 消费组就好比是个逻辑的订阅者，每个订阅者由许多消费者实例构成(用于扩展或容错)。
• 相对于传统的消息系统，kafka拥有更强壮的顺序保证。
• 由于topic采用了分区，可在多Consumer进程操作时保证顺序性和负载均衡。
参考资料
八斗大数据