zoukankan      html  css  js  c++  java
  • kafka基础

    无论是kafka集群,还是producer和consumer都依赖于zookeeper来保证系统可用性集群保存一些meta信息

    • Broker

      Kafka集群包含一个或多个服务器,这种服务器被称为broker

    • Topic

      每条发布到Kafka集群的消息都有一个类别,这个类别被称为Topic。(物理上不同Topic的消息分开存储,逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处)

    • Partition

      Parition是物理上的概念,每个Topic包含一个或多个Partition.

    • Producer

      负责发布消息到Kafka broker

    • Consumer

      消息消费者,向Kafka broker读取消息的客户端。

    • Consumer Group

      每个Consumer属于一个特定的Consumer Group(可为每个Consumer指定group name,若不指定group name则属于默认的group)

    启动kafka

    JMX_PORT=9997 bin/kafka-server-start.sh config/server.properties &

    创建Topic(包含一个分区,三个副本)

    bin/kafka-create-topic.sh--zookeeper 192.168.0.1:2181 --replica 3 --partition 1 --topicmy-replicated-topic

    查看topic情况

    bin/kafka-topics.sh --zookeeper node01:2181 --list

    创建发送者

    bin/kafka-console-producer.sh--broker-list 192.168.0.1:9091 --topic my-replicated-topic

    创建消费者

    bin/kafka-console-consumer.sh --zookeeper127.0.0.1:2181 --from-beginning --topic my-replicated-topic

    杀掉server1上的broker

    pkill -9 -f config/server.properties

    创建消费者,看是否能查询到消息

    bin/kafka-console-consumer.sh --zookeeper192.168.0.1:2181 --from-beginning --topic my-replicated-topic

  • 相关阅读:
    Docker 安装NGINX
    Ant 使用setFieldsValue更新Form表单值
    SpringSecurity设置角色和权限
    java 获取昨天、今天、明天的时间
    Ubuntu 20.04 root ssh登录配置
    http: server gave HTTP response to HTTPS client解决方案:
    06-多线程笔记-2-锁-3-Lock
    05-多线程笔记-2-锁-2-Synchronized
    04-多线程笔记-2-锁-1-死锁
    volatile
  • 原文地址:https://www.cnblogs.com/kuku0223/p/8352044.html
Copyright © 2011-2022 走看看