zoukankan      html  css  js  c++  java
  • Canal-从零开始:入门简介,搭建环境

    github地址:https://github.com/alibaba/canal/wiki

    简介

      canal我理解是基于Mysql binary log的数据同步中间件。mysql作为master,canal模拟slave,发送请求,作为master的Mysql推送binary log给canal,canal自己再解析出来,推送到其他介质。如(rds,es,mq)

      可以理解canal是一个用来同步增量数据的工具。

    搭建Canal-server

      canal-server有两种方式搭建:

        1.二进制文件安装

        2.基于docker镜像安装

      先介绍第一种:

      进入:https://github.com/alibaba/canal/releases/  官方页面下载relase版本,我选择的版本是1.1.4,

      admin是在1.1.4新加的管理界面

      deployer是下图流程所需(但是这是server,不仅包括是下面的流程)                                                                                                   

                                                                            

     另外的adapter是从canal到其他介质的包,下图的这部分,这里先不管后面会介绍到

      下好之后进行解压

       新建canal文件夹

      mkdir canal

       tar zxvf canal.deployer-1.1.4.tar.gz -C /canal

      解压完目录:

      

       修改配置文件了,先看下conf的目录结构:

      

       进入到example目录下,修改instance.properties文件

       

       改好之后保存,然后就启动了。

      进入到bin目录,执行:sh startup.sh

      查看server的日志:

      tail -100f logs/canal/canal.log 

      

    2020-11-09 18:29:27.323 [main] INFO  com.alibaba.otter.canal.deployer.CanalLauncher - ## set default uncaught exception handler
    2020-11-09 18:29:27.356 [main] INFO  com.alibaba.otter.canal.deployer.CanalLauncher - ## load canal configurations
    2020-11-09 18:29:27.367 [main] INFO  com.alibaba.otter.canal.deployer.CanalStarter - ## start the canal server.
    2020-11-09 18:29:27.391 [main] INFO  com.alibaba.otter.canal.deployer.CanalController - ## start the canal server[172.17.0.1(172.17.0.1):11111]
    2020-11-09 18:29:28.472 [main] INFO  com.alibaba.otter.canal.deployer.CanalStarter - ## the canal server is running now ......

       查看instance日志:

      tail -100f logs/example/example.log

      

    2020-11-09 18:29:27.909 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [canal.properties]
    2020-11-09 18:29:27.910 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [example/instance.properties]
    2020-11-09 18:29:28.304 [main] INFO  c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start CannalInstance for 1-example
    2020-11-09 18:29:28.309 [main] WARN  c.a.o.canal.parse.inbound.mysql.dbsync.LogEventConvert - --> init table filter : ^.*..*$
    2020-11-09 18:29:28.316 [main] WARN  c.a.o.canal.parse.inbound.mysql.dbsync.LogEventConvert - --> init table black filter :
    2020-11-09 18:29:28.408 [destination = example , address = /127.0.0.1:13306 , EventParser] WARN  c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - ---> begin to find start position, it will be long time for reset or first position
    2020-11-09 18:29:28.461 [main] INFO  c.a.otter.canal.instance.core.AbstractCanalInstance - start successful....
    

      

       以上canal-server就正式启动好了。

  • 相关阅读:
    年终了,总结一下
    IIS7下安装.net1.1
    CSLA中的连接管理器ConnectionManager
    CSLA.NET权限规则的困惑
    修改 D
    存储过程万能分页 D
    C/S框架WebService架构用户凭证(令牌)解决方案
    C/S系统开发框架 WebService架构负载均衡技术(Load Balancing)
    C# .NET 开发框架 ClassGenerator 源码生成器 (C/S框架网)
    .Net开发框架
  • 原文地址:https://www.cnblogs.com/chylcblog/p/13965299.html
Copyright © 2011-2022 走看看