zoukankan      html  css  js  c++  java
  • 异构数据库结构与数据同步工具dbswitch

    一、背景

          开源MPP数据库Greenplum是一种基于PostgreSQL的分布式数据库,其采用shared-nothing架构,其架构专门用于管理大规模分析数据仓库,Greenplum主要定位在OLAP领域,利用Greenplum MPP数据库做大数据计算或分析平台非常适合,典型的就是数据仓库系统。

         虽然Greenplum支持JDBC 、libpg、copy、gpfdist等多种方式加载数据。但是通常的业务系统中的数据存储往往是MySQL、Oracle、SQLServer、PostegreSQL等数据库。要想把这些数据库中的数据导入至Greenplum数据库中,需要借助一定的(离线同步)工具,典型的工具包括:

        (1)利用kettle+gpload工具

            优点:工具开源且现成,导入速度快,kettle支持表结构同步和表数据同步;

            缺点:gpload配置过于复杂,kettle功能多,学习成本高,每张表都需要单独配置,不适用于大批量表的操作;

       (2)使用Greenplum工具gpfdist或外部表方式

          优点:导入速度快

          缺点:需要先将MySQL、Oracle、SQLServer、PostegreSQL等数据库内的数据导出为文本文件,同样不适用于大批量表的操作;

        (3)datax工具

          优点:工具现成,支持插件扩展;

          缺点:不支持表结构同步,需要人工参与目的端表的创建;

         地址:https://github.com/alibaba/DataX

       (4)dbsync 工具

         优点:支持表结构与数据的同步;

         缺点:同步千万级数据量时会OOM、对于含有大小写的表名或字段名进行DDL转换存在问题、对应还有二进制字段的数据迁移存在问题,只支持MySQL/PostgreSQL到Greenplum/PostgreSQL的表结构与数据同步同步等等,其他问题请参考issue:https://github.com/aliyun/rds_dbsync/issues

         地址:https://github.com/aliyun/rds_dbsync

    二、dbswitch工具

        结合kettle的表结构同步功能及网上高僧基于copy方式改良的datax,dbswitch提供常见的oracle/SqlServer/mysql/PostgreSQL向Greenplum数据库的表结构及数据同步功能。功能点如下:

    • 表(视图)结构向GP转换及在GP中自动建表;
    • 表数据抽取至GP数据库中;
    • 支持同一schema下的多张表同步;
    • 支持整型、浮点型、时间类型、文本类型、二进制类型等多种数据类型的数据同步;
    • 提供RESTfull的表结构转换服务接口;

      项目地址:https://gitee.com/inrgihc/dbswitch

      工具缺点:

    • 当前为单线程处理,并发同步有待提高;
    • 对于GP建表时未考虑分布式键问题
  • 相关阅读:
    6. 模块picklejson andomoszipfile面对对象(类的封装 操作 __init__)
    xlwt模块,(Excel表格)
    5. 迭代器生成器高阶函数推导式内置函数模块(math.time)
    4. 函数参数变量闭包递归
    3. 深浅拷贝/格式化/字符串/列表/字典/集合/文件操作
    2. 运算/循环/字符串操作
    1. 变量/数据类型
    Puppet自动化部署-安装及配置(3)
    Puppet自动化部署-前期环境准备(2)
    Puppet自动化运维-资源介绍篇(4)
  • 原文地址:https://www.cnblogs.com/inrgihc/p/13466742.html
Copyright © 2011-2022 走看看