zoukankan      html  css  js  c++  java
  • datax安装(Windows版)

    一、安装datax

    下载地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

     将其解压即可。

    二、测试安装是否成功

       1,打开cmd界面(同时按下Windows键+R键)

      2,输入CHCP 65001 防止中文乱码

      3,跳转到datax的bin目录下

        命令行:d:

            cd D:BigDataToolsdataxdataxin

      

       4,查看模板

        命令行: python datax.py -r streamreader -w streamwriter

      5,使用datax

       首先我们需要自定义好的json文件(从网上获取的,内容如下),命名为stream2stream.json

    {
      "job": {
        "content": [
          {
            "reader": {
              "name": "streamreader",
              "parameter": {
                "sliceRecordCount": 10,
                "column": [
                  {
                    "type": "String",
                    "value": "helle DataX"
                  },
                  {
                    "type": "string",
                    "value": "你吃完晚饭了吗?"
                  },
                  {
                    "type": "string",
                    "value": "不要在写代码了,太累了"
                  }
                ]
              }
            },
            "writer": {
              "name": "streamwriter",
              "parameter": {
                "encoding": "GBK",
                "print": true
              }
            }
          }
        ],
        "setting": {
          "speed": {
            "channel": 5
           }
        }
      }
    }
    

      输入命令行:python datax.py  +json文件的位置;如:python datax.py ./steam2stream.json

       效果:

    三,备注

      如果你的python环境是python3.0以上的话,请到https://github.com/HxYyWw/DatatX_python3/tree/master下载对应的三个.py文件代替datax文件夹中bin目录下的三个.py文件即可。

  • 相关阅读:
    Evanyou Blog 彩带
    Evanyou Blog 彩带
    Evanyou Blog 彩带
    Evanyou Blog 彩带
    Evanyou Blog 彩带
    Evanyou Blog 彩带
    Evanyou Blog 彩带
    Evanyou Blog 彩带
    Evanyou Blog 彩带
    Evanyou Blog 彩带
  • 原文地址:https://www.cnblogs.com/goubb/p/12403944.html
Copyright © 2011-2022 走看看