Kafka kafka在windows下的安装与配置

kafka在windows下的安装与配置

  By: 授客 QQ：1033553122

 

 

1．测试环境................................................................................................................. 

2．安装JAVA JDK........................................................................................................ 

3．安装zookeeper...................................................................................................... 

4．安装KafKa.............................................................................................................. 

5．测试......................................................................................................................... 

 

 

1．测试环境

JDK 1.8.0_121

 

zookeeper-3.4.13.tar.gz

下载地址1：

http://zookeeper.apache.org/releases.html#download

https://www.apache.org/dyn/closer.cgi/zookeeper/

https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/

 

下载地址2：

https://pan.baidu.com/s/1dnBgHvySE9pVRZXJVmezyQ

 

kafka_2.12-2.1.0.tgz

下载地址1：

http://kafka.apache.org/downloads.html

下载地址2：

https://pan.baidu.com/s/1VnHkJgy4iQ73j5rLbEL0jw

 

 

2．安装JAVA JDK

略

 

3．安装zookeeper

1）解压下载的软件包zookeeper-3.4.13.tar.gz 至目标目录(例中为：D:Program Fileszookeeper-3.4.13)

 

2）修改配置文件

进入conf目录（例中为：D:Program Fileszookeeper-3.4.13conf）， 复制“zoo_sample.cfg”为“zoo.cfg”文件，编辑zoo.cfg，

 

查找并设置dataDir，设置数据存储目录，如下：

dataDir=D:\Program Files\zookeeper-3.4.13\tmpzookeeper

 

查找并设置clientPort（有必要的话），设置客户端连接端口，默认端口2181，如下：

clientPort=2181

 

3）配置系统环境变量

添加系统环境变量：ZOOKEEPER_HOME，设置对应值（例中配置：ZOOKEEPER_HOME= D:Program Fileszookeeper-3.4.13

 

编辑path系统变量，添加路径：%ZOOKEEPER_HOME%in

 

4）验证

打开cmd控制台窗口，输入“zkServer“，运行Zookeeper

 

 

 

 

4．安装KafKa

 

1) 解压kafka_2.12-2.1.0.tgz至目标目录（例中为：D:kafka_2.12-2.1.0

 

2) 修改配置

进入到配置目录（例中为：D:kafka_2.12-2.1.0config），编辑server.properties文件，

查找并设置log.dirs，配置日志目录，例中配置如下：

log.dirs=D:\kafka_2.12-2.1.0\tmp\kafka-logs

 

查找并设置zookeeper.connect，配置zookeeper连接字符串，格式：ip1:端口1,ip2:端口2,……,ipN:端口N，比如127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002,每对ip和端口分别代表一个zookeeper服务器，kafka会按这里的配置去连接zookeeper,例中配置如下：

zookeeper.connect=127.0.0.1:2181

 

查找并设置listener，配置监听端口，格式：listeners = listener_name://host_name:port，供kafka客户端连接用的ip和端口，例中配置如下：

listeners=PLAINTEXT://127.0.0.1:9092

 

3）启动kafka

进入到kafka解压目标目录（bin目录的父目录），执行 .inwindowskafka-server-start.bat .configserver.properties，启动kafka，如下：

 

 

实践过程中，执行命令后有遇到以下问题：

问题：

.inwindowskafka-server-start.bat .configserver.properties

此时不应有 myeclipseMyEclipse。

 

解决方法：

去掉我本机之前配置的一个环境变量（TESTNG_HOME=D:Program Files (x86)myeclipseMyEclipse 10dropinsorg.testng.eclipse_6.8.6.20130607_0745lib estng.jar

）后搞定

 

问题：

.inwindowskafka-server-start.bat ..configserver.properties

命令语法不正确。

错误: 找不到或无法加载主类 FilesJavajdk1.8.0_121libdt.jar;D:Program

 

解决方法：

编辑D:kafka_2.12-2.1.0inwindowskafka-run-class.bat文件，

找到

set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp %CLASSPATH% %KAFKA_OPTS% %*

替换这里的%CLASSPATH % 为 "%CLASSPATH %"

 

 

 

5．测试

1）创建主题

.inwindowskafka-topics.bat --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 4 --topic MY_TOPIC1

WARNING: Due to limitations in metric names, topics with a period ('.') or underscore ('_') could collide. To avoid issues it is best to use either, but not both.

Created topic "MY_TOPIC1".

 

.inwindowskafka-topics.bat --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 4 --topic MY_TOPIC2

WARNING: Due to limitations in metric names, topics with a period ('.') or underscore ('_') could collide. To avoid issues it is best to use either, but not both.

Created topic "MY_TOPIC2".

 

2）查看创建的主题

.inwindowskafka-topics.bat --zookeeper 127.0.0.1:2181 --list

MY_TOPIC1

MY_TOPIC2

 

 

 

 

2）生产消息

.inwindowskafka-console-producer.bat --broker-list localhost:9092 --topic MY_TOPIC1

>Hello, 2019

>Hello,2020

>Hello,2021

 

 

3) 消费消息

.inwindowskafka-console-consumer.bat --bootstrap-server localhost:9092 --topic MY_TOPIC1 --from-beginning

Hello, 2019

 

.inwindowskafka-console-consumer.bat --bootstrap-server localhost:9092 --topic MY_TOPIC1 --group MY_GROUP1

Hello,2020

 

D:kafka_2.12-2.1.0>.inwindowskafka-console-consumer.bat --bootstrap-server localhost:9092 --topic MY_TOPIC1 --group MY_GROUP2

Hello,2021

 

说明：

--bootstrap-server 指定需要连接的服务器

--group  指定消费者所属消费组

--topic  指定消费者要消费的主题

--from-beginning  从头开始接收数据，可以理解为offset为0

 

注：实践中，生产每条消息前，仅开启一个消费者客户端进行消费