zoukankan      html  css  js  c++  java
  • dataX同步数据到MySQL

    1.dataX下载地址https://github.com/alibaba/DataX,python版本2.X。

    2.dataX下载后解压直接使用,通过cmd进入bin目录。

     3.输入python2 datax. py -r streamreader -w streamwriter,查看json模板。

     4.配置json文件,可新建也可直接配置。以csv文件导入mysql为例

    {
        "job": {
            "content": [
                {
                    "reader": {
                        "name": "txtfilereader", 
                        "parameter": {
                        "path": ["D:/hot.csv"], 
                        "encoding":"utf-8",
                            "column": [
                                {
                                    "index": 0,
                                    "type": "string"
                                },
                                {
                                    "index": 1,
                                    "type": "string"
                                }
                            ],
                        "skipHeader": "true",
                          "fileDelimiter":","
                        }
                    }, 
                    "writer": {
                        "name": "mysqlwriter", 
                        "parameter": {
                            "column": [
                                "name",
                                "value",
                              
                            ], 
                            "connection": [
                                {
                                   "jdbcUrl": "jdbc:mysql://localhost:3306/hanjia?&useSSL=false&serverTimezone=UTC", 
                                   "table": ["hot"]
                                }
                            ], 
                            "password": "password", 
                            "username": "root",
                            "writeMode":"insert"
                        }
                    }
                }
            ], 
            "setting": {
                "speed": {
                    "channel": "2"
                }
            }
        }
    }
    View Code

    5.输入python2 datax. py  .. / job/X. json,运行配置好的json文件

     第一次运行会出现乱码,输入CHCP 65001即可解决。

     

  • 相关阅读:
    linux du命令
    Linux vmstat命令实战详解
    linux sar命令详解
    xargs 命令教程
    Linux中find命令用法大全
    python suprocess
    Python的f-strings格式化
    python glob的使用
    python getopt()的使用
    Java测试的题目感想
  • 原文地址:https://www.cnblogs.com/zwang/p/12411018.html
Copyright © 2011-2022 走看看