zoukankan      html  css  js  c++  java
  • kafka学习(七)

                跨集群数据镜像

     

    跨集群镜像的使用场景

    1.区域集群和中心集群
    2.冗余,发生紧急情况下使用第二个集群,保存相同的数据。
    3.云迁移
     

    多集群架构

     
    跨集群中心通信的一些现实情况
    1.高延迟
    2.有限的宽带
    3.高成本
     
    hub和spoke架构
    这种架构适用于一个中心kafka集群对应多个本地kafka集群的情况。
     
    双活架构,集群交互过多
     
    主备架构 常见的故障转移
     
    延展集群
     

    kafka集群消息复制工具mirrorMaker

    kafka提供了一个简单的工具,用于在两个数据中心之间镜像数据。 mirrorMaker为每个消费者分配一个线程,消费者从源集群的主题和分区上读取数据,然后通过公共生产者将数据发送到目标集群上。
     
    如何配置
    mirrorMaker是高度可配置的。
    consumer.config 该参数用于指定消费者的配置文件。
    producer.config 该参数用于指定生产者的配置文件
    new.consumer
    num.starams 一个流就是一个消费者。
     
    whitelist 这是一个正则表达式,代表了需要进行镜像的主题名字。
     
    mirrorMaker 调优这个去看kafka官方对几个配置设置
     
    但是mirrorMaker 是kafka提供的 但是并不能满足一些要求。
     
    这里还有其他解决方案,如优步uRelicator ,confluent的Replicator
  • 相关阅读:
    Asp.net的一些编码问题
    计算ScriptResource.axd的d参数
    关于控件Visible属性的说明
    多分类产品查询
    广告位管理系统跨域广告加载问题
    广告位管理系统使用说明
    Repeater控件备忘
    SubSonic中的字段付值MakeOld & Update
    关于Left join 到 Inner join 的提升MSSQL自动转换
    函数(方法)级的授权
  • 原文地址:https://www.cnblogs.com/Seeasunnyday/p/9241279.html
Copyright © 2011-2022 走看看