zoukankan      html  css  js  c++  java
  • Datax环境搭建

      Datax是一个在异构的数据库/文件系统之间高速交换数据的工具,本次搭建Datax环境,需要说明以下,我的jdk版本是1.7的,所以需要对jdk继续升级。


     一、环境准备

      软件环境:CentOS 6

      系统环境:linux

      jdk环境:1.8及以上

      启动环境:python


    二、升级jdk

      需要先使用命令进行查看自己的jdk版本,命令: java -version   如果是1.8的请自行忽略此步骤。

      windows系统在官网上进行下载相应版本的jdk:https://www.oracle.com/cn/java/technologies/javase-jdk8-downloads.html

      使用filezill进行上传到linux,我的上传到了桌面(或者直接在linux进行下载也可以)。

        进入终端,不进入管理员模式,使用命令 rpm -qa | grep java  进行当前jdk安装包的查看,如我的是1.7的版本。

         使用命令rpm -e --nodeps 你的jdk版本  强制删除软件包,如我的是  rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64   (注意这里有多少软件包就删除多少软件包)

      然后使用命令 tar -zxvf jdk-8u231-linux-x64.tar.gz 对压缩包进行解压。

      解压后如下所示

       将解压后的文件使用命令 sudo mv jdk1.8.0_231/ /opt/   移动到/opt文件夹下,然后进入到该文件夹下进行查看。

       然后使用命令  sudo vim /etc/profile  进行环境的配置,在末尾添加如下代码。

    export JAVA_HOME=/opt/jdk1.8.0_231
    export PATH=$PATH:$JAVA_HOME/bin

      保存退出后使用命令 source /etc/profile 启用配置文件。

      然后使用命令  java -version  进行当前版本的查看,出现的信息与你现在安装的版本相同则升级成功。


     三、安装python

      python的安装详情请参考这个博客:https://www.cnblogs.com/MWCloud/p/11354591.html  

      在安装过程中,可能会出现一些问题,可以参考下面的办法进行解决。

      (1)显示无法建立 SSL 连接。如图所示:

       解决方法:

      将https改为http.因为https会默认认证ssl

      (2)下载速度过慢问题

      wget下载有时候会比较慢,而python相对我们的下载速度来说显得比较大,所以,我们可以下载mwget(或者使用镜像源)进行加速,具体方法参见这篇博客:https://blog.csdn.net/luhengchang/article/details/81365484


     四、安装DataX

      从官网上下载DataX:https://github.com/alibaba/DataX/blob/master/userGuid.md  直接下载工具包

       使用filezill上传到 指定目录。解压到指定目录,我的是上传到了 /usr/local 

      使用命令  tar -zxvf datax.tar.gz  进行解压,解压之后使用命令   cd datax/bin   进入到并目录下,再使用命令 python datax.py ../job/job.json  执行python脚本,如果出现以下内容则安装成功。


      

  • 相关阅读:
    使用jemeter做接口测试遇到的那些事(三)-提取json信息
    使用jemeter做接口测试遇到的那些事(二)
    使用jemeter做接口测试遇到的那些事(一)
    输入一个json输入一个jsonpath
    有两个问题需要解决
    怎么遍历重复的字典
    spring boot启动初始化数据的多种方式
    电商商品搜索设计与算法分享——自定义实现
    spring cloud微服务自定义数据源
    spring boot starter原理解析
  • 原文地址:https://www.cnblogs.com/yandashan666/p/12390813.html
Copyright © 2011-2022 走看看