zoukankan      html  css  js  c++  java
  • kafka学习笔记(三)----quick start

    (一)启动kafka环境

      kafka要求jdk1.8以上,并且启动kafka之前需要启动zookeeper,这里直接使用kafka自带的zookeeper,但是官方说不久后kafka将不再需要zookeeper。

      启动zookeeper:bin/zookeeper-server-start.sh config/zookeeper.properties 

      启动kafka:bin/kafka-server-start.sh config/server.properties

    (二)创建topic

      kafka是一个分布式事件流平台,允许在多台计算机上读,写,存储和处理事件,事件被存储在topic中。topic类似于文件系统中的文件夹,事件类似于文件夹中的文件。所以在创建事件之前需要创建topic

      创建topic:bin/kafka-topics.sh --create --topic myTopic --bootstrap-server localhost:9092  kafka-topics.sh命令用于操作topic,它包括很多参数,--create表示创建  --topic myTopic 表示topic名字为myTopic,bootstrap-server localhost:9092表示服务器地址为localhost:9092。

      

      成功创建topic之后,服务器会打印新建topic的名称,配置信息,这里为{}以及分片信息等

      

      使用--describe参数可以查看topic信息

       

    (三)写入event

      kafka客户端通过网络与kafka代理进行通信,以写入或读取event,一旦受到event,kafka将以持久和容错的方式存储事件,用户可自行决定存储时间。

      运行kafak producer客户端并输入evnet  bin/kafka-console-producer.sh --topic myTopic --bootstrap-server localhost:9092

      

      目前producer 客户端是处于可持续输入event的状态,若要退出可按Ctrl+C

    (四)读取event

      运行kafka consumer客户端并输入bin/kafka-console-consumer.sh --topic myTopic --from-beginning --bootstrap-server localhost:9092,其中--from-beginning参数表示从开始读取event 

      

      若没有--from-beginning参数,则默认从此时开始新入的event开始读取(注意在自己测试的时候,启动consumer客户端之后要等一会再去producer客户端写数据,可能这边没起起来,那边写了数据但是这边看不到)

      

    (五)其他(后面新开详细介绍)

      可使用kafka Connect导入导出自己的数据

      可使用kafka Streams处理event

    (六)终止kafka环境

      都可以用Ctrl+C去终止,若想要删除本地环境中的所有数据,可以使用 rm -rf /tmp/kafka-logs /tmp/zookeeper

        

  • 相关阅读:
    Error: unable to load xmlsec-openssl library
    count(1)、count(*)与count(列名)的执行区别
    Linux下的压缩zip,解压缩unzip命令详解及实例
    linux centos 如何查看操作系统版本信息
    These dependencies were not found: *!!vue-style-loader!css-loader?
    Git如何永久删除某个重要文件文件或文件夹 (包括历史记录) 强制
    LDAP的filter查询详解
    详谈mysqldump数据导出的问题
    GO -- 遍历删除 数组 slice
    mjml强大&&灵活的邮件模版引擎
  • 原文地址:https://www.cnblogs.com/lin0/p/13678762.html
Copyright © 2011-2022 走看看