zoukankan      html  css  js  c++  java
  • kafka学习笔记(三)----quick start

    (一)启动kafka环境

      kafka要求jdk1.8以上,并且启动kafka之前需要启动zookeeper,这里直接使用kafka自带的zookeeper,但是官方说不久后kafka将不再需要zookeeper。

      启动zookeeper:bin/zookeeper-server-start.sh config/zookeeper.properties 

      启动kafka:bin/kafka-server-start.sh config/server.properties

    (二)创建topic

      kafka是一个分布式事件流平台,允许在多台计算机上读,写,存储和处理事件,事件被存储在topic中。topic类似于文件系统中的文件夹,事件类似于文件夹中的文件。所以在创建事件之前需要创建topic

      创建topic:bin/kafka-topics.sh --create --topic myTopic --bootstrap-server localhost:9092  kafka-topics.sh命令用于操作topic,它包括很多参数,--create表示创建  --topic myTopic 表示topic名字为myTopic,bootstrap-server localhost:9092表示服务器地址为localhost:9092。

      

      成功创建topic之后,服务器会打印新建topic的名称,配置信息,这里为{}以及分片信息等

      

      使用--describe参数可以查看topic信息

       

    (三)写入event

      kafka客户端通过网络与kafka代理进行通信,以写入或读取event,一旦受到event,kafka将以持久和容错的方式存储事件,用户可自行决定存储时间。

      运行kafak producer客户端并输入evnet  bin/kafka-console-producer.sh --topic myTopic --bootstrap-server localhost:9092

      

      目前producer 客户端是处于可持续输入event的状态,若要退出可按Ctrl+C

    (四)读取event

      运行kafka consumer客户端并输入bin/kafka-console-consumer.sh --topic myTopic --from-beginning --bootstrap-server localhost:9092,其中--from-beginning参数表示从开始读取event 

      

      若没有--from-beginning参数,则默认从此时开始新入的event开始读取(注意在自己测试的时候,启动consumer客户端之后要等一会再去producer客户端写数据,可能这边没起起来,那边写了数据但是这边看不到)

      

    (五)其他(后面新开详细介绍)

      可使用kafka Connect导入导出自己的数据

      可使用kafka Streams处理event

    (六)终止kafka环境

      都可以用Ctrl+C去终止,若想要删除本地环境中的所有数据,可以使用 rm -rf /tmp/kafka-logs /tmp/zookeeper

        

  • 相关阅读:
    Mac OS X系统下的Android环境变量配置
    mac 终端 常用命令
    如何在mac本上安装android sdk
    让浏览器支持Webp
    ngCordova安装配置使用教程
    js中const,var,let区别
    avaScript技术面试时要小心的三个问题
    视频H5のVideo标签在微信里的坑和技巧
    Git 忽略一些文件不加入版本控制
    "The /usr/local directory is not writable."解决方法
  • 原文地址:https://www.cnblogs.com/lin0/p/13678762.html
Copyright © 2011-2022 走看看