Linux下的Kafka安装流程

Kafka是一种高吞吐量的分布式发布订阅消息系统

Linux下的安装流程

• 前置zookeeper安装（高版本kafka自带zk,可以直接下一步）

  • 下载解压
  • 修改配置文件
  • 修改环境变量
  • 启动zookeeper
  • 其他

• Kafka安装

  • 下载解压
  • 启动服务
  • 创建topic
  • 启动producer
  • 启动consumer

前置zookeeper安装

下载解压

　　1. 进入安装目录，默认/usr/local/，也可以自定义

# cd /usr/local

　　2. 下载zookeeper安装包，到官网选择合适版本的安装包： http://mirror.bit.edu.cn/apache/zookeeper

# wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz

　　3. 解压

tar -zxvf zookeeper-3.4.14.tar.gz 

修改配置文件

　　1.进入conf目录：

# cd zookeeper-3.4.14/conf/

　　2. 将zoo_sample.cfg这个文件复制为zoo.cfg (必须是这个文件名)

# cp  zoo_sample.cfg  zoo.cfg

　　3. 进入zoo.cfg文件进行编辑

# vim zoo.cfg

　　4. 按 i 进入编辑模式，修改以下内容：

dataDir=/tmp/zookeeper/data

dataLogDir=/tmp/zookeeper/log

　　

注意：如果想配置集群的话，请在clientPort下面添加服务器的ip。如

server.1=192.168.180.132:2888:3888
server.2=192.168.180.133:2888:3888

如果电脑内存比较小，zookeeper还可以设置成伪集群。也就是全部服务器采用同一个ip，但是使用不同的端口。

　　5. 在tmp目录创建目录。

# mkdir /tmp/zookeeper

# mkdir /tmp/zookeeper/data

# mkdir /tmp/zookeeper/log

 　　6.如果是配置集群，还需要在前面配置过的dataDir路径下新增myid文件

# cd /tmp/zookeeper/data

# touch myid

# vim myid

在data目录下创建文件，文件名为“myid”, 编辑该“myid”文件，并在对应的IP的机器上输入对应的编号。
如在192.168.180.132上，“myid”文件内容就是1。在192.168.180.133上，内容就是2。

修改环境变量

　　1. 配置环境变量

# export ZOOKEEPER_INSTALL=/usr/local/zookeeper-3.4.14/

# export PATH=$PATH:$ZOOKEEPER_INSTALL/bin

启动zookeeper

　　1. 启动zk

# cd ../bin/

# ./zkServer.sh start

启动成功效果：

ZooKeeper JMX enabled by default

Using config: /usr/local/zookeeper-3.4.14/bin/../conf/zoo.cfg

Starting zookeeper ... STARTED

　　2.zookeeper的服务端启动后，还需要启动zookeeper的客户端：

# ./zkCli.sh

如果是连接多个不同的主机节点，可以使用如下命令：

# ./zkCli.sh -server 192.168.180.132:2888

　　3.查看状态：

# ./zkServer.sh status

返回如下：

ZooKeeper JMX enabled by default

Using config: /usr/local/zookeeper-3.4.14/bin/../conf/zoo.cfg

Mode: standalone

其他

　　1. zk的一些使用

　　见参考：https://www.cnblogs.com/expiator/p/9853378.html

Kafka安装

下载解压

　　1. 进入安装目录，默认/usr/local/，也可以自定义（流程和zk类似）

# cd /usr/local

　　2. 下载kafka安装包，到官网选择合适版本的安装包： http://kafka.apache.org/downloads

# wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.4.0/kafka_2.12-2.4.0.tgz

　　3. 解压

# tar -zxvf kafka_2.12-2.4.0.tgz 

启动服务

　　1. 启动zk

如果采用手动安装zk的方式，这里可以略过
bin/zookeeper-server-start.sh  config/zookeeper.properties 

　　2. 启动Kafka

# bin/kafka-server-start.sh config/server.properties

创建topic

　　1.  创建topic 

这里注意，需要重开一个窗口，然后cd到/usr/local/kafka_2.12-2.4.0/下

# bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

通过list命令查看刚刚创建的topic

# bin/kafka-topics.sh -list -zookeeper localhost:2181

启动producer

　　1. 启动producer

# bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

启动consumer

　　1. 启动consumer

这里注意，也需要重开一个窗口然后cd到/usr/local/kafka_2.12-2.4.0/下

# bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

使用

　　1. 之后就可以愉快的在producer端发送消息，在consumer端查看消息了

　　2. 参考源：https://www.cnblogs.com/expiator/p/9990171.html