0 课程地址
https://coding.imooc.com/lesson/380.html#mid=28228
1 安装kafka教程
https://www.cnblogs.com/chinxi/p/12640059.html
2 Windows安装kafka实操
注:(在以前的一个博客上看到的,实操遇到很多问题,故整合一个全量的)(linux安装见课程地址)
2.1 安装jdk8
a 安装jdk8
b 环境变量配置为jdk8(注意javac -version 和 java -version 必须一致为8版本,否则报版本冲突)
2.2 安装zookeeper
本节教程使用linux系统安装的时候,教程上说kafka有内置定的zookeeper,可以忽略此步骤。
a 下载安装包:http://zookeeper.apache.org/releases.html#download
b 解压并进入ZooKeeper目录,笔者:D:javakafkaapache-zookeeper-3.6.2-binconf
c 将“zoo_sample.cfg”重命名为“zoo.cfg”
d 打开“zoo.cfg”找到并编辑dataDir=D:\java\kafka\apache-zookeeper-3.6.2-bin\tmp(注意,路径必须用双斜杠,否则会报路径找不到,以后linux配置路径单斜杠,windows双斜杠,养成好习惯吧)
e 添加系统变量:ZOOKEEPER_HOME=D:javakafkaapache-zookeeper-3.6.2-bin
f 编辑path系统变量,添加路径:%ZOOKEEPER_HOME%in
g 在zoo.cfg文件中修改默认的Zookeeper端口(默认端口2181)(这个按照默认的来就行,不用改)
h 修改zkServer.cmd 修改为如下
call %JAVA% "-Dzookeeper.audit.enable=true" "-Dzookeeper.log.dir=%ZOO_LOG_DIR%" "-Dzookeeper.root.logger=%ZOO_LOG4J_PROP%" "-Dzookeeper.log.file=%ZOO_LOG_FILE%" "-XX:+HeapDumpOnOutOfMemoryError" "-XX:OnOutOfMemoryError=cmd /c taskkill /pid %%%%p /t /f" -cp "%CLASSPATH%" %ZOOMAIN% "%ZOOCFG%" %*
i 打开新的cmd,输入“zkServer“,运行Zookeeper
j 命令行提示如下:说明本地Zookeeper启动成功。保持窗口开启。
有三种验证zookeeper已经开启
验证1(原博客的成功截图,版本较低):
验证方式2(版本为3.6.2):
验证方式3(版本为3.6.2):
命令行窗口,JPS
2.3 安装kafka
打开 https://kafka.apache.org/downloads 网址,选择scala最近的版本
傻瓜式安装到windows环境下(注意,它的版本有个-,需要替换为下划线)
安装路径尽可能短并且和和zookeeper安装路径平级,否则会报 输入行太长,语法错误
报错信息:
WARN [Producer clientId=console-producer] Bootstrap broker localhost:9092 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)
2.4 修改配置文件server.properties(config路径下)
a broker.id=1 # 集群唯一性标志,如果是多个server集群,不同的server,设置要不一样.
b log.dirs=D://java//kafka//kafka_2.13_2.7.0//logs (注意是双斜杠)
c zookeeper.connection.timeout.ms=60000 (配置了这个,server启动较慢不会报超时)
d 开启监听:listeners=PLAINTEXT://127.0.0.1:9092 否则会报如下错误:
WARN [Producer clientId=console-producer] Bootstrap broker localhost:9092 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)
2.5 启动kafka
找到kafka安装路径,并进入dos命令行
.inwindowskafka-server-start.bat .configserver.properties
注意:注意:不要关了这个窗口,启用Kafka前请确保ZooKeeper实例已经准备好并开始运行
3 kafka测试windows
3.1 创建topic
kafka安装路径下dos命令行窗口:
.inwindowskafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test3
3.2 查看topic
.inwindowskafka-topics.bat --list --zookeeper localhost:2181
3.3 创建生产者(发布者)
.inwindowskafka-console-producer.bat --broker-list localhost:9092 --topic test
cmd命令行窗口也可以,上边是win10自带的命令行窗口
3.4 创建消费者(订阅者)
3.5 查看日志
4 kafka测试linux
# Kafka 依赖于 ZK,先启动 ZK zookeeper:bin/zookeeper-server-start.sh -daemon config/zookeeper.properties # 启动 Kafka 服务器 kafka-server:bin/kafka-server-start.sh config/server.properties # 创建 Topic create topic: bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test # 查看 Topic 列表 topic list: bin/kafka-topics.sh --list --zookeeper localhost:2181 # 启动 Producer producer: bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test # 启动 Consumer consumer: bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning # 查看单个 Topic 信息 topic info: bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test
5 参考网址:
https://www.cnblogs.com/flower1990/p/7466882.html