zoukankan      html  css  js  c++  java
  • 关于kafka在windows上的安装、运行

    一.安装kafka

    下载地址:http://kafka.apache.org/downloads

    要下载Binary downloads这个类型,不要下载源文件,这种方便使用。下载后,解压放在D:igdata目录下。

    (1)进入kafka配置文件所在目录,D:igdatakafka_2.11-0.9.0.1config;

    (2)编辑文件"server.properties",找到并编辑:

     log.dirs=/tmp/kafka-logs  to  log.dirs=D:/bigdata/kafka_2.11-0.9.0.1/kafka-logs 或者 D:\bigdata\kafka_2.11-0.9.0.1\kafka-logs

    同样注意:路径要么是"/"分割,要么是转义字符"\",这样会生成正确的路径(层级,子目录)。错误路径情况可自行尝试,文件夹名为这种形式:bigdatakafka_2.11-0.9.0.1kafka-logs

    (3)在server.properties文件中,zookeeper.connect=localhost:2181代表kafka所连接的zookeeper所在的服务器IP以及端口,可根据需要更改。本文在同一台机器上使用,故不用修改。

    (4)kafka会按照默认配置,在9092端口上运行,并连接zookeeper的默认端口2181。

    二.运行kafka

    提示:

    请确保启动kafka服务器前,Zookeeper实例已经在运行,因为kafka的运行是需要zookeeper这种分布式应用程序协调服务。

    (1)进入kafka安装目录D:igdatakafka_2.11-0.9.0.1

    (2)按下shift+鼠标右键,选择"在此处打开命令窗口",打开命令行。

    (3)在命令行中输入:.inwindowskafka-server-start.bat .configserver.properties   回车。

    (4)正确运行的情况为:

    到目前为止,zookeeper以及kafka都已正确运行。保持运行状态,不要关闭。

    重要(操作日志的处理):

    kafka启动后,如果你去查看kafka所在的根目录,或者是kafka本身的目录,会发现已经默认生成一堆操作日志(这样看起来真心很乱):

    而且会不断生成不同时间戳的操作日志。刚开始不知所措,一番研究后,看了启动的脚本内容,

    发现启动的时候是会默认使用到这个log4j.properties文件中的配置,而在zoo.cfg是不会看到本身的启动会调用到这个,还以为只有那一个日志路径:

    在这里配置一下就可以了,找到config下的log4j.properties:

    将路径更改下即可,这样就可以归档在一个文件夹下边了,路径根据自己喜好定义:

    另外如何消除不断生成日志的问题,就是同一天的不同时间会不停生成。

    修改这里,还是在log4j.properties中:

    本身都为trace,字面理解为会生成一堆跟踪日志,将其改为INFO即可。

    三.创建主题

    (1)创建主题,命名为"test0811",replicationfactor=1(因为只有一个kafka服务器在运行)。可根据集群中kafka服务器个数来修改replicationfactor的数量,以便提高系统容错性等。

    (2)在D:igdatakafka_2.11-0.9.0.1inwindows目录下打开新的命令行

    (3)输入命令:

    kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test0811

    回车。 

    该窗口可以关闭。

    四.创建生产者(producer)和消费者(consumer)

    (1)在D:igdatakafka_2.11-0.9.0.1inwindows目录下打开新的命令行。

    (2)输入命令,启动producer:

    kafka-console-producer.bat --broker-list localhost:9092 --topic test0811 

    该窗口不要关闭。

    (3)同样在该目录下打开新的命令行。

    (4)输入命令,启动consumer:

    kafka-console-consumer.bat --zookeeper localhost:2181 --topic test0811

    现在生产者、消费者均已创建完成。

     

    (5)在producer命令行窗口中任意输入内容,回车  在consumer命令行窗口中即可看到相应的内容。

    至此,已完成kafka在windows下的安装和基本的使用。

  • 相关阅读:
    PAT 甲级 1126 Eulerian Path (25 分)
    PAT 甲级 1126 Eulerian Path (25 分)
    PAT 甲级 1125 Chain the Ropes (25 分)
    PAT 甲级 1125 Chain the Ropes (25 分)
    PAT 甲级 1124 Raffle for Weibo Followers (20 分)
    PAT 甲级 1124 Raffle for Weibo Followers (20 分)
    PAT 甲级 1131 Subway Map (30 分)
    PAT 甲级 1131 Subway Map (30 分)
    AcWing 906. 区间分组 区间贪心
    AcWing 907. 区间覆盖 区间贪心
  • 原文地址:https://www.cnblogs.com/ZJOE80/p/10904607.html
Copyright © 2011-2022 走看看