跨集群数据镜像
跨集群镜像的使用场景
1.区域集群和中心集群
2.冗余,发生紧急情况下使用第二个集群,保存相同的数据。
3.云迁移
多集群架构
跨集群中心通信的一些现实情况
1.高延迟
2.有限的宽带
3.高成本
hub和spoke架构
这种架构适用于一个中心kafka集群对应多个本地kafka集群的情况。
双活架构,集群交互过多
主备架构 常见的故障转移
延展集群
kafka集群消息复制工具mirrorMaker
kafka提供了一个简单的工具,用于在两个数据中心之间镜像数据。 mirrorMaker为每个消费者分配一个线程,消费者从源集群的主题和分区上读取数据,然后通过公共生产者将数据发送到目标集群上。
如何配置
mirrorMaker是高度可配置的。
consumer.config 该参数用于指定消费者的配置文件。
producer.config 该参数用于指定生产者的配置文件
new.consumer
num.starams 一个流就是一个消费者。
whitelist 这是一个正则表达式,代表了需要进行镜像的主题名字。
mirrorMaker 调优这个去看kafka官方对几个配置设置
但是mirrorMaker 是kafka提供的 但是并不能满足一些要求。
这里还有其他解决方案,如优步uRelicator ,confluent的Replicator