kafka入门

kafka是一种消息中间件。使用消息中间件，可减少系统之间的耦合（系统间的相互调用）。

中文资料：http://orchome.com/kafka/index，以下部分内容摘录于该网站：

• kafka节点之间如何复制备份的？
• kafka消息是否会丢失？为什么？
• kafka最合理的配置是什么？
• kafka的leader选举机制是什么？
• kafka对硬件的配置有什么要求？
• kafka的消息保证有几种方式？

作者：半兽人
链接：http://orchome.com/kafka/index
来源：OrcHome
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

 

对kafka中主题、分区、消费组的理解见：http://www.jianshu.com/p/6233d5341dfe（很详细）

 

我对主题、分区、消费组、消费者的理解如下，如果有误，请大家留言指正。

1、消息会采用一定策略分到各个分区上，消费方为组（组内有多个消费者），每个消费组会将关注的topic中的消息都消费掉。

2、如果有多个分组订阅该topic，每个分组都会消费掉该topic中的信息，不同分组间没有直接的关系。

3、在一个分组内，每个消费者会消费一个或多个分区上的消息：

1)供不应求，部分消费者就不消费.

当组内消费者个数大于或等于分区数时，每个分区的信息只会被一个消费者消费，部分消费者不能消费信息。

2)供大于求，部分消费者就多消费点

当消费者个数小于分区数时，部分消费者会消费多个分区上的数据。始终要将该主题的信息消费掉。