kafka在linux下安装

简介

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。

相关术语（参考百度百科）

Broker
　　Kafka集群包含一个或多个服务器，这种服务器被称为broker
Topic
　　每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处）
Partition
　　Partition是物理上的概念，每个Topic包含一个或多个Partition
Producer
　　负责发布消息到Kafka broker
Consumer
　　消息消费者，向Kafka broker读取消息的客户端
Consumer Group
　　每个Consumer属于一个特定的Consumer Group（可为每个Consumer指定group name，若不指定group name则属于默认的group）

　　

下载

http://kafka.apache.org/

https://archive.apache.org/dist/kafka/2.3.0/kafka_2.12-2.3.0.tgz

安装

解压

tar -zxvf kafka_2.12-2.3.0.tgz -C /usr/local/

修改配置文件

创建存放数据的文件夹

查看zk的配置

vim zoo.cfg，zk的端口是2180

kafka中对应修改为2180

另外，zookeeper安装，请参考：https://www.cnblogs.com/uncleyong/p/10737119.html

启动服务

启动zookeeper

启动kafka

测试

创建Topic

查看Topic列表

查看分区

启动kafka的生产者，发送消息：全栈

启动kafka的消费者

消费者1

消费者2

生产者再次发送消息：test

消费者1取消息

消费者2取消息

消息存在分区里面了