zoukankan      html  css  js  c++  java
  • Kafka学习笔记

      Kafka是一个分布式的发布/订阅消息系统。

      1、producer和consumer是kafka的概念,发送消息到“topic”的就是“producer”;订阅“topic”和处理“feeds of message” 的就叫“consumer”;        

                                 

      2、broker是kafka集群上的服务器,每一个kafka服务器就叫做一个broker;

      3、kafka的消费者组(consumer group)是介于消息系统的“queueing”与"publish-subscribe"之间的一种方式。topic的信息会被传递到订阅了该topic的consumer group中的一个consumer instance中,一个topic里面可分多个partition来写数据;

      4、partition中的offset是partition中的信息的唯一标识,由consumer来维护,consumer可以按顺序维护一个不断增加的offset,也可以从任意一个旧offset开始重新读数据;

                              

      5、zookeeper是集群管理器,不管是kafka集群还是hadoop集群都可以用zookeeper管理。它的主要作用是保证分布式系统的数据一致性;这个过程由client发出请求,servers通过投票的方式更新系统状态,以维持对外展示一致的视图;

                                 

  • 相关阅读:
    yarn之安装依赖包
    Yarn 的工作流-创建一个新项目
    yarn使用
    yarn安装
    用yarn替代npm
    搭建开发环境
    网页瞬间转换成桌面应用级程序(IOS/Win/Linux)
    [转]js模块化编程之彻底弄懂CommonJS和AMD/CMD!
    Node.js模块导出exports 和 module.exports 的区别
    Javascript modules--js 模块化
  • 原文地址:https://www.cnblogs.com/zichun-zeng/p/5364021.html
Copyright © 2011-2022 走看看