zoukankan      html  css  js  c++  java
  • Kafka MirrorMaker 跨集群同步工具

    一、MirrorMaker介绍

    MirrorMaker是Kafka附带的一个用于在Kafka集群之间制作镜像数据的工具。该工具从源集群中消费并生产到目标群集。这种镜像的常见用例是在另一个数据中心提供副本。

    图1. MirrorMaker

    对于迁移的topic而言,topic名字一样, partition数量可以不一样,消息的offset会不一样。

    二、注意事项

    1)whitelist和blacklist支持正则表达式。比如需要包含两个topic可以这样写,--whitelist 'A|B' or --whitelist 'A,B' ,或者想迁移所有topic可以这样写 --whitelist '*'

    2)注意在迁移之前创建好相关topic以及规划好partition数量。

    3)老版本和新版本迁移主要考虑consumer和producer的兼容性

    4)如果允许的话,建议将MirrorMaker部署在目标集群内,这是因为如果一旦发生网络分区,消费者与源集群断开连接比生产者与目标集群断开连接要安全。如果消费者断开连接,那么只是当前读取不到数据,但是数据仍然在源集群内,并不会丢失;而生产者断开连接,MirrorMaker便生产不了数据,如果MirrorMaker本身处理不当,可能会丢失数据。

    5)开始之前配置好限流,防止影响原来集群的正常工作。

    三、进度监控

    1) 检测MirrorMaker提交到源集群的位移。我们可以使用kafka-consumer-groups来检测分区的最新位移以及MirrorMaker提交的位移,通过计算差值得到落后间隔。

    2) 查看Ckafka的Topic相关监控,查看当前进度

  • 相关阅读:
    spring学习笔记__spring的单例多例模式
    spring学习笔记_spring入门
    Lambda表达式
    反射
    fatal error: call to undefined function imagettftext
    阿里云 centos 安装apache和php
    php 使用 极光推送 类
    php socket解决方案
    身份证号码 15位和18位 验证
    php memcache扩展 出现错误dyld: Symbol not found: _mmc_queue_free
  • 原文地址:https://www.cnblogs.com/felixzh/p/11508232.html
Copyright © 2011-2022 走看看