zoukankan      html  css  js  c++  java
  • canal 常用配置

    https://github.com/alibaba/canal/wiki/AdminGuide

    canal.instance.filter.regex

     监控哪些表的正则配置 如下:

    mysql 数据解析关注的表,Perl正则表达式.
    多个正则之间以逗号(,)分隔,转义符需要双斜杠(\) 
    常见例子:
    1.  所有表:.*   or  .*\..*
    2.  canal schema下所有表: canal\..*
    3.  canal下的以canal打头的表:canal\.canal.*
    4.  canal schema下的一张表:canal.test1
    5.  多个规则组合使用:canal\..*,mysql.test1,mysql.test2 (逗号分隔)
    注意:此过滤条件只针对row模式的数据有效(ps. mixed/statement因为不解析sql,所以无法准确提取tableName进行过滤)

    instance.xml配置文件

    目前默认支持的instance.xml有以下几种:

    1. spring/memory-instance.xml
    2. spring/file-instance.xml
    3. spring/default-instance.xml
    4. spring/group-instance.xml

    memory-instance.xml介绍:

    所有的组件(parser , sink , store)都选择了内存版模式,记录位点的都选择了memory模式,重启后又会回到初始位点进行解析

    特点:速度最快,依赖最少(不需要zookeeper)

    场景:一般应用在quickstart,或者是出现问题后,进行数据分析的场景,不应该将其应用于生产环境

    file-instance.xml介绍:

    所有的组件(parser , sink , store)都选择了基于file持久化模式,注意,不支持HA机制.

    特点:支持单机持久化

    场景:生产环境,无HA需求,简单可用.

    default-instance.xml介绍:

    所有的组件(parser , sink , store)都选择了持久化模式,目前持久化的方式主要是写入zookeeper,保证数据集群共享.

    特点:支持HA

    场景:生产环境,集群化部署.

    group-instance.xml介绍:

    主要针对需要进行多库合并时,可以将多个物理instance合并为一个逻辑instance,提供客户端访问。

    场景:分库业务。 比如产品数据拆分了4个库,每个库会有一个instance,如果不用group,业务上要消费数据时,需要启动4个客户端,分别链接4个instance实例。使用group后,可以在canal server上合并为一个逻辑instance,只需要启动1个客户端,链接这个逻辑instance即可.

  • 相关阅读:
    ML_入门
    subnet partition
    科比投球预测-python实例
    javascript高级程序设计》第18章 javascript与xml
    《javascript高级程序设计》第17章 错误处理与调试
    《javascript高级程序设计》 第16章 HTML5 脚本编程
    《javascript高级程序设计》 第14章 表单脚本
    《javascript高级程序设计》第13章 事件event
    《javascript高级程序设计》第12 章 DOM2 和DOM3
    《javascript高级程序设计》第11章 DOM 扩展DOM Extensions
  • 原文地址:https://www.cnblogs.com/eason-d/p/9300754.html
Copyright © 2011-2022 走看看