zoukankan      html  css  js  c++  java
  • datax的安装和使用(windows)

      github官方文档和项目:https://github.com/alibaba/DataX

      下载后在windows环境下是可以直接用python编译执行的,但从github上下载的版本只支持python2.x版本,而现在python3.x正流行,这给我们带来不少麻烦。

      在查找资料后我找到了解决办法:

      datax 支持Python3需要修改替换datax/bin下面的三个python文件,替换文件地址:https://github.com/WeiYe-Jing/datax-web/tree/master/doc/datax-web/datax-python3
    image.png
      替换掉datax/bin下面这三个文件
    image.png

      替换完成后,亲测可以使用,我的python是3.8.1版本。

      接下来我完成了datax的一个简单的入门测试,根据开头给出的github网址,找到官方文档

      

      根据官方文档选择需要数据库和数据源的读写实例,配置job.json文件。

      在操作之前需要在navicat中建立两个表,table1和table2,字段如图:

      

      我想要测试一下mysql表之间的数据传输,参照mysql读写文档,配置了如下job.json:

      

    {
        "job": {
            "content": [
                {
                    "reader": {
                        "name": "mysqlreader",
                        "parameter": {
                            "username": "root",
                            "password": "123456",
                            "column": [
                                "id",
                                "name"
                            ],
                            "connection": [
                                {
                                    "table": [
                                        "table1"
                                    ],
                                    "jdbcUrl": [
                                        "jdbc:mysql://localhost/datax?characterEncoding=utf8"
                                    ]
                                }
                            ]
                        }
                    },
                    "writer": {
                        "name": "mysqlwriter",
                        "parameter": {
                            "username": "root",
                            "password": "123456",
                            "column": [
                                "id",
                                "name"
                            ],
                            "connection": [
                                {
                                    "table": [
                                        "table2"
                                    ],
                                    "jdbcUrl": "jdbc:mysql://localhost/datax?characterEncoding=utf8"
                                }
                            ]
                        }
                    }
                }
            ],
            "setting": {
                "speed": {
                    "channel": 1,
                    "byte": 104857600
                },
                "errorLimit": {
                    "record": 10,
                    "percentage": 0.05
                }
            }
        }
    }
    View Code

      

       接下来用win+r打开cmd命令窗口,输入按照配置文件启动datax的命令:python D:dataxdataxindatax.py D:dataxdataxjobjob3.json(注意自己的安装路径)

      如果cmd出现乱码,输入CHCP 65001

      最后出现如下结果表示任务完成:

      我们打开table2,发现table1里的数据已经全导入进来了。

      

  • 相关阅读:
    向Word模板中填充数据
    WCF学习笔记之消息交换模式
    Matlab图窗复制后visio中不能取消组合
    Tecplot 360 安装后弹出“Is your Tecplot 360 EX liense valid?”解决方法
    PS操作
    fluent仿真数值错误
    运行程序显示:Could not find version 8.3 of the MCR.
    matlab图片高清复制到visio
    51单片机常用头文件
    逻辑电平
  • 原文地址:https://www.cnblogs.com/Aduorisk/p/12408559.html
Copyright © 2011-2022 走看看