zoukankan      html  css  js  c++  java
  • DataX实现oracle到oracle之间的数据传递

    首先需要注意的是DATAX是通过JDBC的方式读取ORACLE数据,然后通过OCI的方式写数据,DX也可以通过JDBC写的方式进行,但是OCI比JDBC速度更快。

     

    进入DataX安装目录的bin目录,执行命令

    ./datax.py -e

    输入交换数据数据库对应的代码,它会自动生成相应的xml配置文件

     

    编辑配置文件参数,有"?"的是必须配置的,默认的可以保持不变

    执行代码:

    vi /home/taobao/datax/jobs/oraclereader_to_oraclewriter_1459821656288.xml

    DataX Job配置文件ORACLEREADER和ORACLEWIRTER配置项清单

    Xml配置文件

    其中mandatory:true表示必填

    需要注意的是其中tnsfile可以不填保持默认的就行,tnsfile,oracle jdbc连接有2种方式,一种是直接通过jdbc:oracle:thin:@ip:1521/dbname,另外一种是通过本地tns连接,具体的可以通过看源文件里面的oraclereader.java文件了解到,如果你选择tnsfile方式连接填写的tns路径就是你本地客户端的tnsname.ora的具体路径。

    还有一点需要注意,这里的dbname要注意清楚,xml配置文件里面的oraclereader和oraclewirter里面的dbname都是服务名,由于一开始我不清楚,写成了SID名,后来遇到错误,调试了好久,最后通过看源码进行测试,以为源码错误,源代码里面的是"/"不是":",然后修改了源码,,才不报错,如果你一开始就写的服务名,后面就不需要修改

    以下是两种oracle jdbc连接方式:

    服务名连接方式:jdbc:oracle:thin:@ip:1521/dbname

    SID连接方式:jdbc:oracle:thin:@ip:dbname

    两种运行报错:

    SID连接方式,我把dbname写成了服务名

    Caused by: java.sql.SQLException: Listener refused the connection with the following error:

    ORA-12505, TNS:listener does not currently know of SID given in connect descriptor

    The Connection descriptor used by the client was:

    192.168.35.193:1521:edwfjtest

    服务名连接方式,我写成了SID名

    Caused by: java.lang.IllegalStateException: java.sql.SQLException: Listener refused the connection with the following error:

    ORA-12514, TNS:listener does not currently know of service requested in connect descriptor

    The Connection descriptor used by the client was:

    192.168.35.193:1521/edworcl

     

    运行datax.py文件 ,job.xml文件的路径要是绝对路路径

    ./datax.py vi /home/taobao/datax/jobs/oraclereader_to_oraclewriter_1459821656288.xml

    报错:

    Causedby:java.lang.UnsatisfiedLinkError: /home/taobao/datax/plugins/writer/oraclewriter/liboraclewriter.so:libclntsh.so.10.1:cannot open shared object file: No such file or directory

    解决办法:先看上面的地址里面的文件是不是存在,一般是存在的。

    如果存在,则可能是你的liboraclewriter.so文件和你的当前的版本不匹配,liboraclewirter.so最好需要单独编译

    编译符合环境的oraclewriter。

    datax的文档是这样写的:

    由于Oracle最终通过jni调用oci机制导入数据, 默认情况下,DataX提供基于Intel x86_64 liboraclewriter.so包。如果你使用的平台硬件和默认情况不匹配,需要编译oraclewriter C++代码,liboraclewriter.so需要libiconv库的支持,请先检查该库是否存在。具体编译过程如下:

    1) 进入 DataX源码中的c++/src/oracledumper/src/ 目录

    2) 输入make命令即可编译

    3) 将当前目录下编译完成的liboraclewriter.so 拷贝至/home/taobao/datax/plugins/目录下,覆盖默认的liboraclewriter.so即可

    注意事项:如果本地代码使用的包名不同于源码的,需要修改对应的文件。

    修改文件:include中:xx_OracleWriterJni.h(修改文件名和 OracleWriterJni.h中方法的包路径名。)

    src中:xx_OracleWriterJni.cpp (修改文件名)

    *这一步是要在oracle软件安装的那一台机器上上面去编译,并且环境变量中指定ORACLE_HOME

    *要指明LD_LIBRARY_PATH

    *其中还要安装libiconv库(如果没有安装会提示你找不到这个库)

     

    编译的时候还会报错,说找不到文件,但是修改了下面的代码后就没报错了(红色的部分是需要添加的代码)

     

    [root@localhost src]# cat Makefile

    INCLUDE=-I../include -I${ORACLE_HOME}/jdk/include-I${ORACLE_HOME}/jdk/include/linux

    LIBS=-lclntsh -liconv -L../lib -L${ORACLE_HOME}/lib -L../../../../libs/

    CC=g++

    OBJS=liboraclewriter.so

    CFLAGS=-shared -fPIC -Wl,-rpath=/home/taobao/datax/libs

    CPP=common.cpp dumper.cpp oradumper.cpp strsplit.cpp com_taobao_datax_plugins_writer_oraclewriter_OracleWriterJni.cpp

     

    OBJS: $(CPP)

    $(CC) $(INCLUDE) -o $(OBJS) $(CPP) $(CFLAGS) $(LIBS)

    clean:

    rm -rf $(OBJS)

     

     

    覆盖原来的liboraclewriter.so后,再执行原来的文件。

    ./datax.py vi /home/taobao/datax/jobs/oraclereader_to_oraclewriter_1459821656288.xml

    我的系统又报了一个错误,这个错误很好解决

    Causedby:java.lang.UnsatisfiedLinkError:/home/taobao/datax/plugins/writer/oraclewriter/liboraclewriter.so: /home/taobao/datax/plugins/writer/oraclewriter/libclntsh.so.11.1:

    cannot restore segment prot after reloc: Permission denied

    错误信息:

    cannot restore segment prot after reloc: Permission denied

    解决办法:

    [root@enterprice64 ~]# getenforce

    Enforcing

    [root@enterprice64 ~]# setenforce 0

    [root@enterprice64 ~]# getenforce

    Permissive

    解决成功,然后,测试成功

  • 相关阅读:
    Sublime Text 3插件收集
    Jenkins连接git时出现“Failed to connect to repository : Command ... HEAD" returned status code 128:”的问题解决
    Jenkins错误“to depth infinity with ignoreexternals:true”问题解决
    jeesite导入数据库错误:java.sql.SQLException: Incorrect string value: 'xE4xB8xADxE5x9BxBD' for column 'name' at row 1问题解决
    Maven出现错误No plugin found for prefix 'jetty' in the current project and in the plugin groups的问题解决
    Mac下关闭Sublime Text 3的更新检查
    Ueditor 专题
    Navicat PatchNavicat
    DataSourceBuilder.create().build()
    常用的HTML富文本编译器UEditor、CKEditor、TinyMCE、HTMLArea、eWebEditor、KindEditor简介
  • 原文地址:https://www.cnblogs.com/bb1119/p/5378220.html
Copyright © 2011-2022 走看看