MySQL 同步之otter+canal

# otter总体架构

一些术语：
Pipeline：从源端到目标端的整个过程描述，主要由一些同步映射过程组成
Channel：同步通道，单向同步中一个Pipeline组成，在双向同步中有两个Pipeline组成
DataMediaPair：根据业务表定义映射关系，比如源表和目标表，字段映射，字段组等
DataMedia : 抽象的数据介质概念，可以理解为数据表/mq队列定义
DataMediaSource : 抽象的数据介质源信息，补充描述DateMedia
ColumnPair : 定义字段映射关系
ColumnGroup : 定义字段映射组
Node : 处理同步过程的工作节点，对应一个jvm

他们之间的关系为：
 

# 安装jdk 1.8
步骤省略



# MySQL参数优化
对于自建 MySQL , 需要先开启 Binlog 写入功能，配置 binlog-format 为 ROW 模式，my.cnf 中配置如下

[mysqld]
log-bin=mysql-bin # 开启 binlog
binlog-format=ROW # 选择 ROW 模式
server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复

注意：针对阿里云 RDS for MySQL , 默认打开了 binlog , 
并且账号默认具有 binlog dump 权限 , 不需要任何权限或者 binlog 设置,可以直接跳过这一步


授权 canal 链接 MySQL 账号具有作为 MySQL slave 的权限, 如果已有账户可直接 grant

CREATE USER canal IDENTIFIED BY 'canal';  
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
-- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;
FLUSH PRIVILEGES;


# 安装 aria2
yum install aria2 -yum



# zookeeper 部署
下载地址   https://zookeeper.apache.org/releases.html  


禁用防火墙和SELinux
systemctl stop firewalld.service
systemctl disable firewalld.service

setenforce 0 
sed -i 's/^SELINUX=.*$/SELINUX=disabled/g' /etc/selinux/config


解压压缩包
tar -xvf apache-zookeeper-3.5.8-bin.tar.gz


移动至/opt目录下
mv apache-zookeeper-3.5.8-bin /opt/zookeeper
 
 
修改配置文件，所有机器配置文件保持一致
cat <<EOF > /opt/zookeeper/conf/zoo.cfg  
tickTime=2000
initLimit=10
syncLimit=5
dataDir= /data/zookeeper/data
dataLogDir= /data/zookeeper/log
clientPort=2182
EOF


配置文件注意事项： 
clientPort=2182 后面不能有空格
不然，就会出现报错： Address unresolved: server.0=10.10.10.62:2888:3888

新建数据目录
mkdir /data/zookeeper/{data,log} -p


添加到环境变量
export ZK_HOME=/opt/zookeeper
export PATH=$PATH:$ZK_HOME/bin


source /etc/profile


启动
zkServer.sh start


使用status查看运行情况
zkServer.sh status


测试zookeeper
zkCli.sh -server 10.10.10.62:2182


# otter 安装
下载地址 https://github.com/alibaba/otter/releases 

分别解压到 /usr/local/otter/node 和 /usr/local/otter/manager 目录

mkdir /usr/local/otter/{manager,node} -p
tar -xvf manager.deployer-4.2.18.tar.gz -C /usr/local/otter/manager/
tar -xvf node.deployer-4.2.18.tar.gz   -C  /usr/local/otter/node/


初始化otter manager系统表：
下载源码包otter-otter-4.2.18.zip 
SQL文件所在目录为 otter-otter-4.2.18/manager/deployer/src/main/resources/sql/


配置修改 /usr/local/otter/manager/conf/otter.properties

# 修改为所在服务器的ip，而不是默认的127.0.0.1
## otter manager domain name  
otter.domainName = 10.10.10.62    
## otter manager http port
otter.port = 8090
## jetty web config xml
otter.jetty = jetty.xml


# 修改为正确数据库的地址，端口号，账号，密码
otter.database.driver.url = jdbc:mysql://10.10.10.62:3306/otter
otter.database.driver.username = root
otter.database.driver.password = hello

# 修改为zk地址
## default zookeeper address
otter.zookeeper.cluster.default = 10.10.10.62:2182    


启动manager 
/usr/local/otter/manager/bin/startup.sh

查看日志
tail -fn 100 /usr/local/otter/manager/logs/manager.log

访问地址
http://10.10.10.62:8090/

配置zookeeper

注意：ZooKeeper集群填写的时候，必须以分号结束


# node配置
cd  /usr/local/otter/node/conf 

echo 1 > nid

node配置文件   /usr/local/otter/node/conf/otter.properties  可以默认，不用做任何修改 


启动node
/usr/local/otter/node/bin/startup.sh 

查看日志
tail -fn 100 /usr/local/otter/node/logs/node/node.log


配置node
 

机器添加完成以后，机器管理的列表中第一列就是nid（这个就是到时候要保存到 /usr/local/otter/node/conf/nid 文件中的值），如下：

manager/node都启动之后，就可以真正开始配置同步任务了。


# 安装canal
下载 canal 地址：https://github.com/alibaba/canal/releases

解压缩
mkdir /usr/local/canal    
tar zxvf  canal.deployer-1.1.5-SNAPSHOT.tar.gz  -C /usr/local/canal


配置修改

vi /usr/local/canal/conf/example/instance.properties
## mysql serverId
canal.instance.mysql.slaveId = 1234
#position info，需要改成自己的数据库信息
canal.instance.master.address = 127.0.0.1:3306 
canal.instance.master.journal.name = 
canal.instance.master.position = 
canal.instance.master.timestamp = 
#canal.instance.standby.address = 
#canal.instance.standby.journal.name =
#canal.instance.standby.position = 
#canal.instance.standby.timestamp = 
#username/password，需要改成自己的数据库信息
canal.instance.dbUsername = canal  
canal.instance.dbPassword = canal
canal.instance.defaultDatabaseName =
canal.instance.connectionCharset = UTF-8
#table regex
canal.instance.filter.regex = .*\\..*


canal.instance.connectionCharset 代表数据库的编码方式对应到 java 中的编码类型，比如 UTF-8，GBK , ISO-8859-1
如果系统是1个 cpu，需要将 canal.instance.parser.parallel 设置为 false


启动
sh  /usr/local/canal/bin/startup.sh


查看 server 日志
tail -fn 100 /usr/local/canal/logs/canal/canal.log 


查看 instance 的日志
tail -fn 100  /usr/local/canal/logs/example/example.log


关闭
sh  /usr/local/canal/bin/stop.sh


添加canal
 

  

 

   配置位点信息

点位可以通过在主库执行 show master status 和 select unix_timestamp() 得到。
 

  数据源配置 

  

  

 数据表配置

 

  

  配置channel 

  

   配置Pipeline

  

   

  配置映射关系

  

   

 点击启用，启动成功后会在运行状态显示运行 
 

  参考： 

  https://github.com/alibaba/otter

  https://www.cnblogs.com/zhjh256/p/9261725.html