zoukankan      html  css  js  c++  java
  • kafka总结

    一.消息队列的作用
    1. 应用解耦
    2.异步处理
    3.数据限流
    4.消息通信
    二.概念
    代理 broker kafka 集群中一个kafka的进程
    生产者 producer
    消费者 consumer
    消费者组 多个线程来执行

    主题 topic
    分区 每一个主题中有一个或多个分区 基于物理层次
    副本 每个主题创建时会要求制定副本的数
    记录 K +V +时间歘组成
    kafka 通过zookeeper 进行管理

    kafka 消费者 是消费者组中的一部分,当每个消费者组存在多个消费者消费主题的消息数据的时候,每个消费者会读取不同分区的上的消息数据
    三.特性
    1.异步生成数据
    2.偏移量迁移
    3.数据流 kafka streams 处理流式数据
    深层理解
    1.采用tcp网络通信协议,采用reactor【事件模型】多线程模型

    四kafka 的流处理
    1.kstream
    2.kTable
    流数据与批数据的区别在于数据边界是否有限
    无穷数据表示流数据,有穷数据表示批数据
    五.kafka eagle系统做监控系统
    kafka 与elk整合

  • 相关阅读:
    tensorflow中协调器 tf.train.Coordinator 和入队线程启动器 tf.train.start_queue_runners
    C++ 第八天
    C++ 第七天
    C++ 第四天
    c++ 编译报错汇总(随时更新)
    C++ 第二天
    C++ 第三天
    c++ 继承(二)
    c++ 继承(一)
    回调函数
  • 原文地址:https://www.cnblogs.com/aibabel/p/10847243.html
Copyright © 2011-2022 走看看