zoukankan      html  css  js  c++  java
  • Kafka学习-入门

      在上一篇kafka简介的基础之上,本篇主要介绍如何快速的运行kafka。  

      在进行如下配置前,首先要启动Zookeeper。

    配置单机kafka

    1.进入kafka解压目录
    2.启动kafka

    binwindowskafka-server-start configserver.properties
    

     3.创建Topic和查看机器上topic

    binwindowskafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topic1
    binwindowskafka-topics --list --zookeeper localhost:2181
    

     
    4.发送数据

    binwindowskafka-console-producer --broker-list localhost:9092 --topic topic1
    

    5.开始消费数据

    binwindowskafka-console-consumer --bootstrap-server localhost:9092 --topic topic1 --from-beginning
    

     

    配置kafka集群

    1.复制server.properties文件,并修改文件配置

    broker.id=2
    listeners=PLAINTEXT://:9094
    log.dirs=E:kafka_2.11-0.10.2-2log
    

     2.启动kafka

    binwindowskafka-server-start configserver-1.properties
    binwindowskafka-server-start configserver-2.properties
    

     3.创建topic,然后查看集群详细信息

    binwindowskafka-topics --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic topic-cluster
    binwindowskafka-topics --describe --zookeeper localhost:2181 --topic topic-cluster
    

     

      第一行详细描述topic-cluster这个topic的集群信息。主要包括topic名称、分区数目、复制因子。后面的每一行描述一个分区信息,Partition:0表示该分区编号为0;Leader:0,表示该分区的Leader的broker.id为0;replicas为所在的broker.id;该分区的ISR为0、1、2.

    4.向kafka集群发送数据

    binwindowskafka-console-producer --broker-list localhost:9092 --topic topic-cluster
    

     

    5.开始消费数据

    binwindowskafka-console-consumer --bootstrap-server localhost:9092 --topic topic-cluster --from-beginning
    

     6.测试kafka集群失败恢复 杀死leader进程
    7.查看集群信息

    binwindowskafka-topics --describe --zookeeper localhost:2181 --topic topic-cluster
    

     

      此时可以发现,该分区的Leader和ISR都发生了改变.

    8.重新消费数据

    binwindowskafka-console-consumer --bootstrap-server localhost:9092 --topic topic-cluster --from-beginning

    下一篇:Kafka学习-生产者和消费者

  • 相关阅读:
    焦虑来回走
    去省政府客串
    中国地质大学(北京)招生信息有点坑
    张桂梅校长再获殊荣,实至名归!她的故事值得一看再看……
    行内容转为列内容
    公文写作心得
    钟南山院士亲口说的“如何保持健康长寿
    VMware虚拟机出现“内部错误”如何解决?
    CI框架深入篇(2)一些基础的我之不知道的标准格式
    SQL语句学习记录(三)
  • 原文地址:https://www.cnblogs.com/wxgblogs/p/6597494.html
Copyright © 2011-2022 走看看