zoukankan      html  css  js  c++  java
  • kafka基础一

    基本概念:

    消息系统的组成由生产者,消费者以及存储系统。消费者从存储系统中读取生产者生产的消息。Kafka作为分布式的消息系统支持多个生产者多个消费者,写消息时允许多个生产者写到同一个Partition中,一个Partition中的消息只允许一个消费者组中的一个消费者消费。
    kafka流程图
    1.Producer:消息生产者
    2.Consumer:消息消费者
    3.Topic:一个队列
    4.Consumer Group(CG):这是Kafka用来控制单播和多播的手段。但是,每个partion只会把消息发送给该CG中的一个Consumer,如果需要实现广播,只需要每个Consumer有一个独立的CG就可以了,要想实现单播只要所有的Consumer在同一个CG上,用CG还可以将Consumer进行自由的分组而不需要多次发送消息到不同的Topic
    5.Broker:一台kafka服务器就是一个broker,一个Kafka集群由多个broker组成,一个broker可以容纳多个topic
    6.Partition:分区,为了实现扩展性,一个非常大的topic可以分不到多个broker上,一个topic可以有多个partition,每个partition是一个有序的队列。partition中的每条消息都会被分配一个有序的id(offset)。Kafka只保证按一个partition中的顺序将消息发送给Consumer,不保证也给topic的整体(多个partition间)的顺序
    7.Offset:kafka的存储文件都是按照offset.kafka来命名,用offset做名字的好处是方便查找

  • 相关阅读:
    204. 计数质数
    236. 二叉树的最近公共祖先
    优先队列和哈夫曼树
    185. 部门工资前三高的所有员工(求组内前几的值)
    部门工资最高的员工(求组内最大值)
    回调函数的案例
    单链表
    动态数组
    一致性哈希算法的基本原理
    只用2GB内存在20亿个整数中找到出现次数最多的数
  • 原文地址:https://www.cnblogs.com/ozho/p/10583746.html
Copyright © 2011-2022 走看看