zoukankan      html  css  js  c++  java
  • Kafka学习笔记

    学习的知识点记录如下:

    1.bin目录下常用的kafka工具

    2.修改分区数时,只能进行增加,不能减少。

    3.kafka分区保序,如果将kafka使用在这样的场景里面,后端消费者同样也要做到保序,比如多线程消费进行排序,或者单线程消费。

    4.扩容方式有两种:一种扩分区,--alter;一种不改分区扩broker,通过reassign进行分区数据迁移。在分区保序的场景下,前者可能会造成数据乱序,后者场景有短暂的停服时间。

    5消息生命周期设置有两种:一,根据数据时间;二,根据数据大小。如果做以上扩分区操作,可能会造成短时间内的数据偏斜。

    6.消息队列语义:at least once,at most once,exactly once 也需要后端来应用配合完成。如数据库的upsert。

    7.offset需要自己管理。比如消费数据写两份的场景,可以通过,消费者事物的方式进行双写,然后在commit offset。

    8.生产者有同步模式和异步批量模式,是可靠性和性能的取舍。

    9.同8,同步副本落盘和异步落盘,可靠性能和性能的取舍。

  • 相关阅读:
    python学习笔记(33)pycharm中使用git
    VUE基础3-过滤器与生命周期
    VUE基础2-双向数据绑定
    VUE基础1方法与指令
    HTML基础之JS
    HTML基础之DOM操作
    HTML基础之CSS
    HTML基础之HTML标签
    python学习笔记(32)多线程&多进程
    python学习笔记(30)深拷贝、浅拷贝
  • 原文地址:https://www.cnblogs.com/performancetest/p/9532862.html
Copyright © 2011-2022 走看看