zoukankan      html  css  js  c++  java
  • Canal-从零开始:入门简介,搭建环境

    github地址:https://github.com/alibaba/canal/wiki

    简介

      canal我理解是基于Mysql binary log的数据同步中间件。mysql作为master,canal模拟slave,发送请求,作为master的Mysql推送binary log给canal,canal自己再解析出来,推送到其他介质。如(rds,es,mq)

      可以理解canal是一个用来同步增量数据的工具。

    搭建Canal-server

      canal-server有两种方式搭建:

        1.二进制文件安装

        2.基于docker镜像安装

      先介绍第一种:

      进入:https://github.com/alibaba/canal/releases/  官方页面下载relase版本,我选择的版本是1.1.4,

      admin是在1.1.4新加的管理界面

      deployer是下图流程所需(但是这是server,不仅包括是下面的流程)                                                                                                   

                                                                            

     另外的adapter是从canal到其他介质的包,下图的这部分,这里先不管后面会介绍到

      下好之后进行解压

       新建canal文件夹

      mkdir canal

       tar zxvf canal.deployer-1.1.4.tar.gz -C /canal

      解压完目录:

      

       修改配置文件了,先看下conf的目录结构:

      

       进入到example目录下,修改instance.properties文件

       

       改好之后保存,然后就启动了。

      进入到bin目录,执行:sh startup.sh

      查看server的日志:

      tail -100f logs/canal/canal.log 

      

    2020-11-09 18:29:27.323 [main] INFO  com.alibaba.otter.canal.deployer.CanalLauncher - ## set default uncaught exception handler
    2020-11-09 18:29:27.356 [main] INFO  com.alibaba.otter.canal.deployer.CanalLauncher - ## load canal configurations
    2020-11-09 18:29:27.367 [main] INFO  com.alibaba.otter.canal.deployer.CanalStarter - ## start the canal server.
    2020-11-09 18:29:27.391 [main] INFO  com.alibaba.otter.canal.deployer.CanalController - ## start the canal server[172.17.0.1(172.17.0.1):11111]
    2020-11-09 18:29:28.472 [main] INFO  com.alibaba.otter.canal.deployer.CanalStarter - ## the canal server is running now ......

       查看instance日志:

      tail -100f logs/example/example.log

      

    2020-11-09 18:29:27.909 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [canal.properties]
    2020-11-09 18:29:27.910 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [example/instance.properties]
    2020-11-09 18:29:28.304 [main] INFO  c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start CannalInstance for 1-example
    2020-11-09 18:29:28.309 [main] WARN  c.a.o.canal.parse.inbound.mysql.dbsync.LogEventConvert - --> init table filter : ^.*..*$
    2020-11-09 18:29:28.316 [main] WARN  c.a.o.canal.parse.inbound.mysql.dbsync.LogEventConvert - --> init table black filter :
    2020-11-09 18:29:28.408 [destination = example , address = /127.0.0.1:13306 , EventParser] WARN  c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - ---> begin to find start position, it will be long time for reset or first position
    2020-11-09 18:29:28.461 [main] INFO  c.a.otter.canal.instance.core.AbstractCanalInstance - start successful....
    

      

       以上canal-server就正式启动好了。

  • 相关阅读:
    Halcon学习笔记之缺陷检测(二)
    tensorflow常用函数库
    luogu P2765 魔术球问题 (最小路径覆盖)
    luogu P2423 [HEOI2012]朋友圈 (最大团)
    poj 2226 Muddy Fields (二分图)
    匈牙利算法板子
    二分图
    AC日记——【模板】树链剖分 洛谷 P3384
    AC日记——[ZJOI2008]树的统计Count bzoj 1036
    去重排序
  • 原文地址:https://www.cnblogs.com/chylcblog/p/13965299.html
Copyright © 2011-2022 走看看