Canal

一、canal介绍

1、canal主要用途是基于mysql数据库增量日志解析，提供增量数据订阅和消费。

　　早期阿里巴巴是因为杭州和美国双机房部署，存在跨机房同步的业务需求。

　　当前canal支持源端mysql版本包括5.1.x、5.5.x、5.6.x、5.7.x、8.0.x

2、canal没有独立的官网，可以在github上下载和查看canal文档，地址：https://github.com/alibaba/canal/wiki

3、canal工作原理：canal监听binlog日志

二、安装canal

1、开启binlog

　　①登录数据库：mysql -u root -p xxxxxx

 　　②查看log_bin是否为ON：show variables like "log%"; 

　　 ③修改my.cnf文件：vim /etc/my.cnf

　　　　　　　随机指定一个不能和其他集群中机器重名的字符串，不要和canal的slaveId重复：server-id=123

　　　　　　　配置binlog日志目录，配置后会自动开启binlog日志，并写入该目录：log-bin=/var/lib/mysql/mysql-bin

　　　　　　　选择row模式：binlog-format=ROW

　　　　mysql有三种模式：ROW：记录操作mysql的每一行

　　　　　　　　　　　　  STATEMENT：记录sql语句，但是sql中涉及函数操作时，如now，uuid时会产生差异，导致数据不准确

　　　　　　　　　　　　  MIXED：当sql中有函数时用ROW记录，当没有函数时用STATEMENT记录

　　④重启mysql：service mysqld restart

　　⑤再次查看binlog是否开启：show variables like "log%"; 

2、下载canal：https://github.com/alibaba/canal/releases  canal.deployer-1.1.4.tar.gz

3、上传至node节点，创建一个新目录，用于放canal解压后文件：mkdir canal

　  解压至创建的文件夹中：tar -zxvf ./canal.deployer-1.1.4.tar.gz -C canal

三、canal同步mysql数据原理

1、先从Log Position中获取到上次解析成功的位置

2、向数据库发送命令同步binlog日志

3、mysql推送binlog，如果没有连接成功的话连接失败

4、解析日志并往后传递

 四、数据配置

canal中需要配置两个文件和权限

1、配置mysql slave权限：canal的原理是模拟自己为mysql slave，所以这里需要canal作为mysql slave的相关权限

mysql> CREATE USER canal IDENTIFIED BY 'canal';
mysql> GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
mysql> FLUSH PRIVILEGES;
mysql> show grants for 'canal';

 2、配置两个文件

　　第一个文件为canal的数据源，即数据从哪个mysql中节点来：instance.properties

　　　　将canal.instance.mysql.slaveId解开注释并设置为123456，及与之前my.cnf设置不一样即可

　　　　将canal.instance.master.address=127.0.0.1:3306改为数据库地址

　　　　将canal.instance.dbUsername=canal改为用户名，及前面复制权限的用户名

　　　　将canal.instance.dbPassword=canal改为密码，及前面复制权限的密码

　　　　将canal.mq.topic=canal_topic（如果你设置为将数据写到kafka中时配置这个）

　　第二个文件为canal的目标源，即这些数据要通过canal写到哪里去：/conf/canal.properties

　　　　可以查阅：https://github.com/alibaba/canal/wiki/AdminGuide

五、启动canal

1、cd /canal/bin/

2、./startup.sh 

3、jps查看是否存在CanalLauncher进程