zoukankan      html  css  js  c++  java
  • Window下配置Kafka以及Zookeeper环境

     

    软件下载地址:

    Zookeeper     https://zookeeper.apache.org/

    Kafka          http://kafka.apache.org   

    搭建步骤:

    1、JDK安装 

    • JAVA_HOME: C:Program Files (x86)Javajre1.8.0_60(这个是默认安装路径,如果安装过程中更改了安装目录,把更改后的路径填上就行了)
    • PATH: 在现有的值后面添加"; %JAVA_HOME%in"
    • 打开cmd运行 "java -version" 查看当前系统Java的版本:

    这里写图片描述

    2、Zookeeper安装 

    ①、进入Zookeeper解压目录,E:WindowsOS_ApacheKafka_20160126ookeeperzookeeper-3.4.6conf

    ②、将“zoo_sample.cfg”重命名为“zoo.cfg”。

    ③、配置启动日记目录,用#注解调 dataDir=/tmp/zookeeper 

    dataDir=E:WindowsOS_ApacheKafka_20160126ookeeperdata         注意:使用双斜杠

    这里写图片描述

    ④、系统环境变量中添加:

    ZOOKEEPER_HOME = E:WindowsOS_ApacheKafka_20160126ookeeperzookeeper-3.4.6

    ⑤、编辑系统变量path,加上:   %ZOOKEEPER_HOME%in;

    这里写图片描述

    ⑥、确认zoo.cfg文件中默认的Zookeeper端口(默认端口2181)。

    打开新的cmd,输入zkserver,运行Zookeeper。

    运行成功会创建log日记文件和监听2181如下: 这里写图片描述

    这里写图片描述

    以上情况 Zookeeper已经搭建完成并在端口2181运行。

    3、安装Kafka

    ①、下载kafka_2.11-0.9.0.0.tgz,解压后重命名为kafka_2.11,进入Kafka配置目录,E:WindowsOS_ApacheKafka_20160126Kafkakafka_2.11config 编辑文件“server.properties” 找到并用#注解“log.dirs=/tmp/kafka-logs”  添加自己的日记目录:log.dirs=E:WindowsOS_ApacheKafka_20160126Kafkakafka-logs 这里写图片描述

    ②、如果Zookeeper在某些其他的机器或集群上运行,可以将“zookeeper.connect:2181”修改为自定义IP与端口。在这里使用了同一个机器,所以没其他做修改。文件中的Kafka端口和broker.id也是可以配置的。默认设置不变。 机器的localhost也为127.0.0.1,这里我也修改为ipv4的,防止localhost为ipv6时受影响。 这里写图片描述

    ③、Kafka会按照默认,在9092端口上运行,并连接zookeeper的默认端口:2181。 在zookeeper的基础上,运行Kafka服务 进入Kafka安装目录,E:WindowsOS_ApacheKafka_20160126Kafkakafka_2.11 切换到命令行窗口,运行kafka。 .inwindowskafka-server-start.bat .configserver.properties

    这里写图片描述

    这里写图片描述

    这里写图片描述

    运行成功,会有log文件的输出,连接zk的2181端口,启动默认的9092端口。


    A、创建主题

    1. 现在创建主题,命名为“test”,replication factor=1(因为只有1个Kafka服务器在运行)。如果集群中所运行的Kafka服务器不止1个,可以相应增加replication-factor,从而提高数据可用性和系统容错性。 

    2. 在E:WindowsOS_ApacheKafka_20160126Kafkakafka_2.11inwindows打开新的命令行。

    3. 输入下面的命令,回车: kafka-topics.bat –create –zookeeper localhost:2181 –replication-factor 1 –partitions 1 –topic test 这里写图片描述

    如果创建主题不成功 以下生产者与消费者实验不用做。

    B. 创建Producer及Consumer来测试服务器。

    1.在E:WindowsOS_ApacheKafka_20160126Kafkakafka_2.11inwindows打开新的命令行。

    2.输入以下命令,启动producer,

    可以输入消息: kafka-console-producer.bat –broker-list localhost:9092 –topic test 这里写图片描述

    3.在同样的位置E:WindowsOS_ApacheKafka_20160126Kafkakafka_2.11inwindows再次打开新的命令行。

    4.现在输入下列命令启动consumer,

    可以获取消息: kafka-console-consumer.bat –zookeeper localhost:2181 –topic test 这里写图片描述

    5.两个命令行窗口,producer可以输入任何消息,consumer可以获取消息。

    【引用】https://mp.weixin.qq.com/s?__biz=MzA4Mzc0NjkwNA==&mid=402247745&idx=1&sn=a015f9a1fc116bd85ab8baea7acca0aa&scene=1&srcid=0126OTkoPGSiSE2MAYsZmLew&pass_ticket=4zKnz%2BW9FcZh2OPXVzzWftImQf39WsPI%2FMlB8aGHSDyRQLbZkWV%2ByxE4GcddC86%2B#rd

    爬坑的路上要越怕越勇.....
  • 相关阅读:
    爬取校园新闻首页的新闻的详情,使用正则表达式,函数抽离
    爬取校园新闻首页的新闻
    中文词频统计
    综合练习:英文词频统计
    字符串练习
    1.用Hive对爬虫大作业产生的文本文件2.用Hive对爬虫大作业产生的csv文件进行数据分析,写一篇博客描述你的分析过程和分析结果。
    Hadoop综合大作业加上以前漏掉的作业
    爬虫大作业
    获取全部校园新闻
    爬取校园新闻首页的新闻
  • 原文地址:https://www.cnblogs.com/shike8080/p/6483123.html
Copyright © 2011-2022 走看看