zoukankan      html  css  js  c++  java
  • Windows平台下kafka环境的搭建

    近期在搞kafka,在Windows环境搭建的过程中遇到一些问题,把具体的流程几下来防止后面忘了。 
    准备工作: 
    1.安装jdk环境 
    http://www.oracle.com/technetwork/java/javase/downloads/index.html 
    2.下载kafka的程序安装包: 
    http://kafka.apache.org/downloads 
    解压文件提取出里面的文件 
    在cmd命令行打开至根目录下,内容如下: 
    这里写图片描述 
    (1).bin目录下存放的是程序运行时使用的脚本文件,window平台是一个独立的文件夹里面存放着 .bat 文件,bin的目录下存放的是 Linux 平台使用的 .sh 的shell脚本,在window平台上用不到,嫌麻烦可以删了。 
    (2).config目录下存放的是一些程序运行的配置文件,在后期自定义使用kafka的时候需要修改里面的文件内容。 
    (3).libs目录是打包好的jar包,这个版本自带了zookeeper的jar包,所以在安装的过程中不需要再在本地安装zookeeper了。

       启动zookeeper: 
      在正常启动zoopkeeper之前需要修改zookeeper.properties的文件内容,将其data的输出目录指定一下,可自行创建一个文件夹如下: 
    这里写图片描述 
    然后启动:

    binwindowszookeeper-server-start.bat configzookeeper.properties

    正常启动后他的状态是这样的: 
    这里写图片描述 
    3. 启动kfaka服务: 
    在启动前,任然需要修改server.properties中log.dir的配置目录, 
    这里写图片描述 
    修改后,启动服务: 
    这里写图片描述 
    4. 创建一个主题:

    binwindowskafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic kjTest

    这里写图片描述

    可以使用如下命令查看创建的主题列表:

    binwindowskafka-topics.bat --list --zookeeper localhost:2181

    这里写图片描述 
    5. 启动生产者:

    binwindowskafka-console-producer.bat --broker-list localhost:9092 --topic kjTest

    这里写图片描述

    此时可以从控制台输入信息,待消费者启动后可接收到生产者发布的消息。 
    这里写图片描述 
    6. 启动消费者:

    binwindowskafka-console-consumer.bat --zookeeper localhost:2181 --topic kjTest --from-beginning

    此时便能看到发布出去的消息了 
    这里写图片描述 
    7. 在后期还可以启动多个集群服务,同时进行操作,修改server.properties中的内容:便可启动,与上相似。

    config/server-1.properties:
            broker.id=<new id>
          listeners=PLAINTEXT://:<new port>
        log.dir=<you log dir>   
    操作步骤:
    

    1).分别启动需要的kafka服务

    这里写图片描述

    这里写图片描述 


    2). 创建主题,设置分区数目 
    这里写图片描述 


    可以使用下面的命令查看是否创建成功,和具体的分区 
    这里写图片描述 


    3). 分别启动生产者消费者 
    这里写图片描述

    这里写图片描述 


    4). 可以查看下当前工作状态 
    这里写图片描述 


    查看得当前服务使用的是broker编号为2的服务,但我们将其down掉后 
    这里写图片描述 


    再次执行消息发送任务: 
    producer

    consumer 
    消息仍能发送成功,命令行中会提示一个服务已关闭。 
    就查看当前状态: 
    这里写图片描述 


    此时的leader换成了broker 0

     转自:https://blog.csdn.net/qq_32485573/article/details/54562237?locationNum=5&fps=1

  • 相关阅读:
    读《大数据的互联网思维》有感
    IDEA控制台问题:At least one JAR was scanned for TLDs yet contained no TLD
    youDao
    IDEA学习——模板及其常用模板
    IDEA控制台问题:java lang OutOfMemoryError:PermGen space
    MySQL版本的相关问题:com.mysql.cj.jdbc.Driver和com.mysql.jdbc.Driver
    代码自省(周一)
    IDEA链接mySQL问题 : You have an error in your SQL syntax : 'OPTION SQL_SELECT_LIMIT=1000' (or 'OPTION SQL_SELECT_LIMIT=DEFAULT')
    我的大学流水日记
    mysql的使用
  • 原文地址:https://www.cnblogs.com/UniqueColor/p/8657319.html
Copyright © 2011-2022 走看看