zoukankan      html  css  js  c++  java
  • 【原】无脑操作:Windows下搭建Kafka运行环境

    Kafka是一种高吞吐量的分布式发布订阅消息系统

    1、优点:
    ① 通过磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。
    ② 高吞吐量:即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。
    ③ 支持通过Kafka服务器和消费机集群来分区消息。
    ④ 支持Hadoop并行数据加载。

    2、基本概念:

    ① Broker:Kafka集群包含的一个或多个服务器
    ② Topic:每条发布到Kafka集群的消息都有一个类别主题。(物理上不同Topic的消息分开存储,逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处)
    ③ Partition:分区,每个Topic包含一个或多个Partition
    ④ Producer:负责发布消息到Kafka broker
    ⑤ Consumer:消息消费者,向Kafka broker读取消息的客户端
    ⑥ Consumer Group:每个Consumer属于一个特定的Consumer Group(可为每个Consumer指定group name,若不指定group name则属于默认的group)

    3、环境准备:

    ① Windows 7 64位旗舰版

    ② Zookeeper文件一份zookeeper-3.4.13.tar.gz(下载地址:http://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/),下载完毕后解压至D:Kafka

    ③ Kafka文件一份kafka_2.12-2.1.1.tgz(下载地址:http://kafka.apache.org/downloads.html),下载完毕后解压至D:Kafka

    4、配置设定:

    ① 环境变量的系统变量中添加ZOOKEEPER_HOME=D:Kafkazookeeper-3.4.11,系统变量path中追加;%ZOOKEEPER_HOME%in

    ② D:Kafkazookeeper-3.4.13conf目录中,zoo_sample.cfg文件改名为zoo.cfg

    ③ zoo.cfg文件中12行的dataDir=/tmp/zookeeper,修改为:dataDir=D:\Kafka\zookeeper-3.4.13\tmp

    ④ D:Kafkakafka_2.12-2.1.1config目录中,找到server.properties文件,60行的log.dirs=/tmp/kafka-logs,修改为:log.dirs=D:\Kafka\kafka_2.12-2.1.1\kafka-logs

    5、测试运行:

    ① 启动Zookeeper

    在D:Kafkazookeeper-3.4.13in目录下,找到zkServer.cmd文件,双击执行,看到如下提示,说明Zookeeper正常启动

    注意:启动后不要关闭窗口

    ② 启动Kafka

    在D:Kafkakafka_2.12-2.1.1目录下,shift+鼠标右键,找到"在此处打开命令窗口",输入:

    .inwindowskafka-server-start.bat .configserver.properties

    看到如下提示,说明Kafka正常启动

    注意:启动后不要关闭窗口

    ③ 创建及查看Topic

    在D:Kafkakafka_2.12-2.1.1目录下,shift+鼠标右键,找到"在此处打开命令窗口",输入:

    .inwindowskafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

    看到如下提示,说明创建成功

    想查看创建过的Topic,可以继续输入:

    .inwindowskafka-topics.bat --list --zookeeper localhost:2181

    看到如下提示,即列出创建过的Topic列表

    ④ 创建生产者

    在D:Kafkakafka_2.12-2.1.1目录下,shift+鼠标右键,找到"在此处打开命令窗口",输入:

    .inwindowskafka-console-producer.bat --broker-list localhost:9092 --topic test

    看到如下提示,说明等待生产

    ⑤ 创建消费者

    在D:Kafkakafka_2.12-2.1.1目录下,shift+鼠标右键,找到"在此处打开命令窗口",输入:

    .inwindowskafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

    看到如下提示,说明等待消费

    ⑥ 在生产者窗口中输入内容模拟生产,可以在消费者窗口中看到内容

  • 相关阅读:
    Oracle学习笔记(一)——B-Tree索引
    B+树索引
    B树和B+树原理及在索引中的应用
    B树索引
    MySQL用B+树(而不是B树)做索引的原因
    细说mysql索引
    How to write XML-RPC clients
    How to write XML-RPC clients
    渲染流程(下):HTML、CSS和JavaScript是如何变成页面的
    渲染流程(上):HTML、CSS和JavaScript是如何变成页面的
  • 原文地址:https://www.cnblogs.com/iflytek/p/10574717.html
Copyright © 2011-2022 走看看