zoukankan      html  css  js  c++  java
  • 本地windows下新建kafka生产消费数据

    Kafka的运行依赖于Zookeeper,所以在运行Kafka之前我们需要安装并运行Zookeeper 

    1.安装zookeeper

    1.1 下载安装文件: http://mirror.bit.edu.cn/apache/zookeeper/
    1.2 解压文件(本文解压到 D:zookeeper-3.4.8)
    1.3 打开D:zookeeper-3.4.8conf,把zoo_sample.cfg重命名成zoo.cfg
    1.4 从文本编辑器里打开zoo.cfg
    1.5 修改dataDir和dataLogDir保存路径
    dataDir=D:logszookeeper
    dataLogDir=D:datalogszookeeper
    1.6 添加如下系统变量:ZOOKEEPER_HOME: D:zookeeper-3.4.8
    Path: 在现有的值后面添加 ;%ZOOKEEPER_HOME%in;
    2.cmd运行zookeeper

    运行Zookeeper: 打开cmd然后执行zkserver 命令。如果打印以下信息则表示zookeeper已经安装成功并运行在2181端口。

    截图好像报错了·~~

    2.安装并运行Kafka
    2.1 下载安装文件: http://kafka.apache.org/downloads.html
    2.2 解压文件(本文解压到 D:kafka_2.11-0.10.2.0)
    2.3 打开D:kafka_2.11-0.10.2.0config server.properties
    2.4 把 log.dirs的值改成 log.dirs=D:datalogskafka
    2.5 D:kafka_2.11-0.10.2.0in文件夹下的.sh命令脚本是在shell下运行的,此文件夹下还有个 windows文件夹,里面是windows下运行的.bat命令脚本
    2.6 在D:kafka_2.11-0.10.2.0文件夹中”Shift+鼠标右键”点击空白处打开命令提示窗口
    2.7 输入并执行一下命令以打开kafka:(根据实际情况可以进行适当的路径修改)
    .inwindowskafka-server-start.bat .configserver.properties

    3.创建topics
    3.1在D:kafka_2.11-0.10.2.0inwindows文件夹中”Shift+鼠标右键”点击空白处打开命令提示窗口

    kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test1029
    4.打开一个Producer
    4.1在D:kafka_2.11-0.10.2.0inwindows文件夹中”Shift+鼠标右键”点击空白处打开命令提示窗口

    kafka-console-producer.bat --broker-list localhost:9092 --topic test1029
    5.打开一个Consumer
    5.1在D:kafka_2.11-0.10.2.0inwindows文件夹中”Shift+鼠标右键”点击空白处打开命令提示窗口

    关于最后消费者启动的方法,目前已经过时,0.90版本之后启动消费者的方法:,kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test0811 --from-beginning

    注意:以上打开的窗口不要关闭
    然后就可以在Producer控制台窗口输入消息了。在消息输入过后,很快Consumer窗口就会显示出Producer发送的消息

  • 相关阅读:
    分布式计算框架——MapReduce
    Hadoop总结
    HBase原理总结
    LeetCode牛客148题
    LeetCode刷题[Python版]
    【Linux】netstat命令详解
    基于docker搭建Prometheus+Grafana监控(一)
    Zabbix笔记一:zabbix安装
    【Linux】vi/vim中如果替换
    【redis】Redis学习:redis测试注意点
  • 原文地址:https://www.cnblogs.com/yang-ye/p/9873041.html
Copyright © 2011-2022 走看看