zoukankan      html  css  js  c++  java
  • kafka的ACK

      在谈及到Kafka的ACK之前我们要向讲一下Kafka的复制机制,为了保证Kafka的高性能,设计了分区,一个topic的分区是的数据可以分散,然后可以让更多的消费者来进行消费;避免单一分区,只能由一个消费者消费,造成串行处理,多分区本质还是实现了并行消费的机制;其实但凡是分片,很大程度上都是为了实现并行处理,比如Hdfs的Hive查询,Spark以及ES,他们的使用的底层存储技术无一不是分片保存;可以将操作下放到每个分片,然后再进行汇总,实现了增加了的数据处理的吞吐。

      谈完了高性能,我们再来谈高可用;分区确实可以实现并发处理进而提供处理效率,那么如果分区所在的盘挂了呢?于是Kafka引入了复制,注意,复制是分区级别的事情。为了防止硬盘的挂掉导致的请求异常,Kafka引入了复制机制,角色有两个:master,follower。master挂了之后,就需要通过选主操作(依赖zookeeper)选择出舵主。

      那么到此我们再来说一下Kafka的ACK:

      0:没有任何机制,producer将消息发出之后不再关心;

      1:只有broker确认master数据已经写成功了,才会返回1给producer端;

      2:只有所有的follower返回OK可,才返回。

  • 相关阅读:
    html+vue.js 实现分页可兼容IE
    Display、Visibility 和 Opacity 的区别
    Vue项目刷新页面 IE/360 浏览器 input输入框不清空问题处理
    Webpack入门
    linux下Tomcat日志文件catalina.out的切割
    无监控,不运维
    windows与linux下jdk+tomcat安裝
    java面向对象(提高篇)
    java面向对象(汇总)
    JAVA工程师简历模板
  • 原文地址:https://www.cnblogs.com/xiashiwendao/p/10928080.html
Copyright © 2011-2022 走看看