zoukankan      html  css  js  c++  java
  • Windows安装Kafka

    下载地址:http://kafka.apache.org/downloads

    我这里现在的是 kafka_2.13-2.6.0.tgz

    注意:Kakfa依赖Zookeeper,所以需要正确安装好JDK和zookeeper。

    一、单机模式

    ① 解压缩,然后新建一个空的logs文件夹

    ② 进入config目录,编辑 server.properties 文件

    修改 log.dirs 属性值:

    配置Zookeeper:

    Kakfa不指定的话,按照默认9092。

    ③ 启动kafka

    进入bin目录的windows文件夹,这里都是windows下运行的.bat命令脚本 。

    为了方便,我们在新建一个start-kafka.bat的脚本文件(与bin文件夹同级),内容如下:

    .inwindowskafka-server-start.bat .configserver.properties

    双击start-kafka.bat即可(启动前记得先启动zookeeper)。

    ④ 创建topics

    进入windows文件夹,然后”Shift+鼠标右键”点击空白处打开powershell命令提示窗口,执行命令:

    .kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic monitorupload

    ⑤ 打开一个Producer

    进入windows文件夹,然后”Shift+鼠标右键”点击空白处打开powershell命令提示窗口,执行命令:

    .kafka-console-producer.bat --broker-list localhost:9092 --topic monitorupload

    创建好下面的消费者后,就可用在上面这个生产者窗口输入信息了。

    ⑥ 打开一个Consumer

    进入windows文件夹,然后”Shift+鼠标右键”点击空白处打开powershell命令提示窗口,执行命令:

    .kafka-console-consumer.bat --bootstrap-server localhost:9092 --from-beginning --topic monitorupload

    ⑦ 发送消息

    以上打开的窗口不要关闭 

    然后就可以在Producer控制台窗口输入消息了。在消息输入过后,很快Consumer窗口就会显示出Producer发送的消息

    二、集群模式

    ① 解压后复制出3份,kafka-1、kafka-2、kafka-3,创建 log 目录存放消息日志

    ② 修改config 文件夹下的 server.properties 

    # kafka-1

    #broker 编号,集群内必须唯一
    broker.id=1
    #host 地址
    host.name=127.0.0.1
    #端口
    port=9092
    #消息日志存放地址
    log.dirs=C:installkafkakafka_2.13-2.6.0logs
    #ZooKeeper 地址,多个用,分隔
    zookeeper.connect=localhost:2181,localhost:2182,localhost:2183

    # kafka-2

    # broker 编号,集群内必须唯一
    broker.id=2
    # host 地址
    host.name=127.0.0.1
    # 端口
    port=9093
    # 消息日志存放地址
    log.dirs=C:\install\kafkaCluster\kafka_2.13-2.6.0-2\logs
    # ZooKeeper 地址,多个用,分隔
    zookeeper.connect=localhost:2181,localhost:2182,localhost:2183

    # kafka-3

    # broker 编号,集群内必须唯一
    broker.id=3
    # host 地址
    host.name=127.0.0.1
    # 端口
    port=9094
    # 消息日志存放地址
    log.dirs=C:\install\kafkaCluster\kafka_2.13-2.6.0-3\logs
    # ZooKeeper 地址,多个用,分隔
    zookeeper.connect=localhost:2181,localhost:2182,localhost:2183

    ③ 启动Kafka

    分别通过 cmd 进入每个 Kafka 实例,输入命令启动:

    binwindowskafka-server-start.bat .configserver.properties

    或新建start-kakfa.bat,双击bat,内容如下:

    .inwindowskafka-server-start.bat .configserver.properties

    问题:Windows CMD命令行解释器【输入行太长。 命令语法不正确】

    解决方案:

    ① 使用较短的文件夹和文件的名称

    ② 减少文件夹树的深度

    我是把kakfa的安装目录移到最简单的C盘(别忘了修改config/server.properties里面的log.dirs的位置。):

    ④ 创建主题Topic

    .inwindowskafka-topics.bat --create --zookeeper localhost:2181,localhost:2182,localhost:2183 --replication-factor 1 --partitions 1 --topic testTopic

    ⑤ 查看Topic列表

    .inwindowskafka-topics.bat --list --zookeeper localhost:2181,localhost:2182,localhost:2183

    ⑥ 生产消息

    .inwindowskafka-console-producer.bat --broker-list localhost:9092,localhost:9093,localhost:9094 --topic testTopic

    ⑦ 消费消息

    .inwindowskafka-console-consumer.bat --bootstrap-server localhost:9092,localhost:9093,localhost:9094 --topic testTopic

    三、kakfatool工具的使用

    https://www.cnblogs.com/miracle-luna/p/11299345.html

    时刻与技术进步,每天一点滴,日久一大步!!! 本博客只为记录,用于学习,如有冒犯,请私信于我。
  • 相关阅读:
    linux拷贝软连接文件
    【知识点】Java常用类库
    Maven之pom.xml配置文件详解
    Java+Bigdata学习路线
    Hadoop界的Hello World!
    JavaEE三大框架的整合
    学完微型服务器(Tomcat)对其工作流程的理解,自己着手写个简单的tomcat
    【数据结构与算法】之链表
    JavaEE项目开发所需要的包(Struts2+Spring5+Hibernate5)
    在Linux(Centos7)系统上对进行Hadoop分布式配置以及运行Hadoop伪分布式实例
  • 原文地址:https://www.cnblogs.com/myitnews/p/13748746.html
Copyright © 2011-2022 走看看