zoukankan      html  css  js  c++  java
  • kafka基础

    无论是kafka集群,还是producer和consumer都依赖于zookeeper来保证系统可用性集群保存一些meta信息

    • Broker

      Kafka集群包含一个或多个服务器,这种服务器被称为broker

    • Topic

      每条发布到Kafka集群的消息都有一个类别,这个类别被称为Topic。(物理上不同Topic的消息分开存储,逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处)

    • Partition

      Parition是物理上的概念,每个Topic包含一个或多个Partition.

    • Producer

      负责发布消息到Kafka broker

    • Consumer

      消息消费者,向Kafka broker读取消息的客户端。

    • Consumer Group

      每个Consumer属于一个特定的Consumer Group(可为每个Consumer指定group name,若不指定group name则属于默认的group)

    启动kafka

    JMX_PORT=9997 bin/kafka-server-start.sh config/server.properties &

    创建Topic(包含一个分区,三个副本)

    bin/kafka-create-topic.sh--zookeeper 192.168.0.1:2181 --replica 3 --partition 1 --topicmy-replicated-topic

    查看topic情况

    bin/kafka-topics.sh --zookeeper node01:2181 --list

    创建发送者

    bin/kafka-console-producer.sh--broker-list 192.168.0.1:9091 --topic my-replicated-topic

    创建消费者

    bin/kafka-console-consumer.sh --zookeeper127.0.0.1:2181 --from-beginning --topic my-replicated-topic

    杀掉server1上的broker

    pkill -9 -f config/server.properties

    创建消费者,看是否能查询到消息

    bin/kafka-console-consumer.sh --zookeeper192.168.0.1:2181 --from-beginning --topic my-replicated-topic

  • 相关阅读:
    app缓存设计-文件缓存
    设计模式-模板方式
    设计模式-观察者模式
    java 类加载顺序
    Java项目添加log4j日志文件错误记录
    如何在eclipse中配置反编译工具JadClipse
    eclipse反编译插件jadClipse安装使用教程
    StringUtils工具类的isBlank()方法使用说明
    SLF4J: Failed to load class的问题及解决
    GitHub的Fork 是什么意思
  • 原文地址:https://www.cnblogs.com/kuku0223/p/8352044.html
Copyright © 2011-2022 走看看