zoukankan      html  css  js  c++  java
  • kafka学习笔记(三)----quick start

    (一)启动kafka环境

      kafka要求jdk1.8以上,并且启动kafka之前需要启动zookeeper,这里直接使用kafka自带的zookeeper,但是官方说不久后kafka将不再需要zookeeper。

      启动zookeeper:bin/zookeeper-server-start.sh config/zookeeper.properties 

      启动kafka:bin/kafka-server-start.sh config/server.properties

    (二)创建topic

      kafka是一个分布式事件流平台,允许在多台计算机上读,写,存储和处理事件,事件被存储在topic中。topic类似于文件系统中的文件夹,事件类似于文件夹中的文件。所以在创建事件之前需要创建topic

      创建topic:bin/kafka-topics.sh --create --topic myTopic --bootstrap-server localhost:9092  kafka-topics.sh命令用于操作topic,它包括很多参数,--create表示创建  --topic myTopic 表示topic名字为myTopic,bootstrap-server localhost:9092表示服务器地址为localhost:9092。

      

      成功创建topic之后,服务器会打印新建topic的名称,配置信息,这里为{}以及分片信息等

      

      使用--describe参数可以查看topic信息

       

    (三)写入event

      kafka客户端通过网络与kafka代理进行通信,以写入或读取event,一旦受到event,kafka将以持久和容错的方式存储事件,用户可自行决定存储时间。

      运行kafak producer客户端并输入evnet  bin/kafka-console-producer.sh --topic myTopic --bootstrap-server localhost:9092

      

      目前producer 客户端是处于可持续输入event的状态,若要退出可按Ctrl+C

    (四)读取event

      运行kafka consumer客户端并输入bin/kafka-console-consumer.sh --topic myTopic --from-beginning --bootstrap-server localhost:9092,其中--from-beginning参数表示从开始读取event 

      

      若没有--from-beginning参数,则默认从此时开始新入的event开始读取(注意在自己测试的时候,启动consumer客户端之后要等一会再去producer客户端写数据,可能这边没起起来,那边写了数据但是这边看不到)

      

    (五)其他(后面新开详细介绍)

      可使用kafka Connect导入导出自己的数据

      可使用kafka Streams处理event

    (六)终止kafka环境

      都可以用Ctrl+C去终止,若想要删除本地环境中的所有数据,可以使用 rm -rf /tmp/kafka-logs /tmp/zookeeper

        

  • 相关阅读:
    MVP模式与MVVM模式
    webpack的配置处理
    leetcode 287 Find the Duplicate Number
    leetcode 152 Maximum Product Subarray
    leetcode 76 Minimum Window Substring
    感知器算法初探
    leetcode 179 Largest Number
    leetcode 33 Search in Rotated Sorted Array
    leetcode 334 Increasing Triplet Subsequence
    朴素贝叶斯分类器初探
  • 原文地址:https://www.cnblogs.com/lin0/p/13678762.html
Copyright © 2011-2022 走看看