zoukankan      html  css  js  c++  java
  • 简单理解什么是数据库CDC?(以mysql为例)

    一、数据库CDC是什么

    CDC 是change data capture,即变化数据捕捉。是数据库进行备份的一种方式,常用于大量数据的备份工作。分为入侵式的和非入侵式的备份方法,入侵式的有基于触发器备份、基于时间戳备份、基于快照备份,非入侵式的备份方法是基于日志的备份。mysql 基于日志的CDC就是要开启mysql binary log。

    二、Mysql基于日志的CDC配置

    1、查看mysql是否开启Binlog

    show variables like 'log_bin';

    若变量log_bin的值为“OFF”,则说明Binlog未开启,继续执行下一步。

    若变量log_bin的值为“ON”,则说明Binlog已开启,继续执行以下SQL命令,检查相关参数的配置是否符合要求。

    show variables like '%binlog_format%';
    show variables like '%binlog_row_image%';

    变量binlog_format的值应该为“ROW”,变量binlog_row_image的值应该为“FULL”。

    2、执行以下命令编辑MySQL配置文件,然后按“i”进入输入模式。

    vi /etc/my.cnf

    在配置文件中增加如下配置,开启Binlog。

    server-id = 123
    log_bin = mysql-bin
    binlog_format = row
    binlog_row_image = full
    expire_logs_days = 10
    gtid_mode = on
    enforce_gtid_consistency = on

    其中:

    server-id的值应为大于1的整数,请根据实际规划设置,并且在创建数据集成任务时设置的“Server Id”值需要此处设置的值不同。
    expire_logs_days为Binlog日志文件保留时间,超过保留时间的Binlog日志会被自动删除,应保留至少2天的日志文件。
    “gtid_mode = on”和“enforce_gtid_consistency = on”仅当MySQL的版本大于等于5.6.5时才需要添加,否则删除这两行内容。

    按“Esc”退出输入模式,然后输入“:wq”并回车,保存退出。
    执行以下命令重启MySQL数据库。

    service mysqld restart

    以root用户登录数据库,执行以下命令,查询变量log_bin的值是否为“ON”,即是否已开启Binlog。

    show variables like 'log_bin';

    3、在数据库中执行以下命令创建ROMA连接数据库的用户并配置权限。

    CREATE USER 'roma'@'%' IDENTIFIED BY 'password';
    GRANT SELECT, RELOAD, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'roma'@'%';

    其中:

    roma为ROMA连接用户名,请根据实际规划设置。
    password为ROMA连接用户密码,请根据实际规划设置。

     

  • 相关阅读:
    Linux零碎知识
    Xshell连接不上Linux
    Python中获取当前时间 获取当前时间前几天的代码
    重新设置Linux文件共享密码..
    【Python】【解决】UnicodeDecodeError: 'ascii' codec can't decode byte 0xe5 in position 1: ordinal not in range(128)
    应该怎么理解 app = Flask(__name__)
    刚才在windows下发现拖拽不了文件了
    Hadoop点滴-何时使用hadoop fs、hadoop dfs与hdfs dfs命令
    Hadoop点滴-Hadoop分布式文件系统
    Hadoop点滴-初识MapReduce(2)
  • 原文地址:https://www.cnblogs.com/schoolbag/p/13385669.html
Copyright © 2011-2022 走看看