zoukankan      html  css  js  c++  java
  • SQL迁移到ORACLE实例

    nohup ./command.sh > output 2>&1 &
    

      

    SQL迁移到ORACLE实例

    日常运维中,我们经常会有数据库不同类型的迁移,比较多的就是从sql server迁移到oracle 的情况,前一阶段正好有一个类似的项目进行,我将其中的一些注意事项记录下来。

    一、迁移的方案

    之前也进行过sql -> oracle的迁移,使用过sql server的dts也单独自己写过sqlloader脚本,但是两种方案都不是很满意,dts经常出错,sqlldr的手工编辑很费劲,稍不注意就会写错。

    这次参考了http://www.cnblogs.com/hiizsk/archive/2011/07/10/2102452.html

    使用ORACLE SQL DEVELOPER进行了操作,效果不错。

    以下有几个需要特别注意的事情,提前说,很重要的。

    1. ORACLE SQL DEVELOPER不是pl/sql developer,这个要注意啊
    2. ORACLE SQL DEVELOPER的版本问题,上面地址参考文档或者从oracle官方站点下载的我都没有试验成功,反而到是一个比较老的版本3.0.04的版本试验成功了,在文档最后我提供了下载,这个版本是没有jre的,对应的是6不是7啊,请自行安装,在首次运行的时候提示指定jre6的路径,指定对了就可以正常运行了。
    3. 上面文档中没有提及怎么导入,这个是非常重要的,需要将导出的文档上传到服务器执行。
    4. 编码,这个是折腾我最多的内容,因为sql server2008 R2不支持bcp的utf-8导出,但是oracle 生产机现在基本都是al32utf8的,所以需要手工将导出的data文件夹的内容转码到utf-8.EditPlus有一个批量转码的功能,非常好用对小文件批量操作很好,我的480多个文件基本都是靠它完成的。对于大于100M以上的文件editplus完全hang不住,只能使用ultraedit,我用它执行2G多的一个文件,几分钟搞定。

    二、实际步骤

    此步骤很多参考绝殇 的内容啊,版权是他的啊。我在其中补充和修正了一些内容。

    1.  第一部分:获取工具

    不建议去oracle官网下载,虽然支持到oracle 12C,反正我是没用它弄好我的sql server 2008 R2到oracle 11G 的转换,能使用的人如果成功告诉我下。

    直接到文档最后下载提供的内容即可,注意自行安装jre6

        2.   下载SQL SERVER的驱动程序

         绝殇说的”点击菜单帮助,选择检查更新,弹出检查更新向导窗口”我一直没成功,我只好自己自行下载了jtds-1.2.2-dist,这个我也提供了下载。关联方式如下

     启动develop -----工具-----首选项-------数据库-----第三方jdbc驱动程序,添加条目选中jtds的文件,然后重启develop即可。

    1. 连接oraclesql,建立账户

    基本和文档一样(不清楚脚本见http://www.cnblogs.com/hiizsk/archive/2011/07/10/2102452.html),这里多说一句,默认新创建的用户的默认表空间是user,我不建议这样,新建立一个表空间,然后建立的MIGRATONS用户的表空间使用新建的,尽量不要影响默认表空间。

    另外后面脚本执行完毕后,创建的表的默认空间也是user,这个时候导入数据前建议在新建一个表空间,将这些表移动到新表空间如newtbs。

    Select 'alter table '||table_name||' move tablespace newtbs;' from user_all_tables;

     3. 数据库移植向导等

    完全可按照文档执行,最后一步也是脱机即可。

    (1)SqlServer中的架构到Oracle中的模式,名称的处理

    这部分不用这么处理,后面我有更好的办法,跳过

    (2)转移数据

    从这部分后,文档语焉不详,其实这才是执行导入容易出错的地方。首先导出数据执行unload_script [server] [username] [password]

    这个执行可以在本机使用cmd执行,注意看下生成的目录结构如下

     

    导出数据可以在2014-09-28_17-02-42下执行unload_script.bat

    我的项目导出10G左右大概在十几分钟即可。

            接下来就是转码工作了,在上图的data目录中,选中文件使用editplus或者ultraedit就可以把文件转码到utf8格式。

    (3)导入数据

    把全部的文件上传到linux服务器(你的oracle不会运行在windows下吧?)

    (1) 修改shell文件

    修改dbo文件下的oracle_ctl.sh文件

    增加

    export NLS_LANG=AMERICAN_AMERICA.AL32UTF8

    注意这里的值是你目的oracle的nls值,可以自行查询

    如果您的文件中有类似我的超过500M的大文件,修改默认的sqlldr语句

    默认:

    sqlldr $1/$2 control=control/dbo_jzprod.uf_bud_payoutdetthird.ctl log=log/dbo_jzprod.uf_bud_payoutdetthird.log

    在后面增加下面的语句采用平行append方式,跳过索引

     direct=true parallel=true skip_index_maintenance=true

    (2) 修改control文件

    如果你使用了上面的direct=true的数据,那对应的control文件也需要修改,如上面的dbo_jzprod.uf_bud_payoutdetthird,control文件在control目录下,如:

    load data
    
    infile 'data/dbo_jzprod.CARDCOMBINATIONDETAIL.dat'
    
     "str '<EORD>'"
    
    into table dbo_jzprod.CARDCOMBINATIONDETAIL
    
    fields terminated by '<EOFD>'
    
    trailing nullcols

    需要在into 之前增加APPEND

    (3) 执行

    执行shell,可能大家觉得非常简单,但是也需要有些注意事项

    ./**.sh 没问题,但是我们需要注意,我们需要执行dbo目录下的shell

    因为默认的developer给我们生成了很多层的sh,我们需要执行最内层的sh

    3.1:^M的问题:

     我们编辑的sh,执行会报错,vi会发现内部的每行最后存在一个^M

     使用如下代码即可。

     :1,$ s/^M//g

    ^M 输入方法: ctrl+V ,ctrl+M

    3.2:后台运行

     直接运行shell需要时间比较长,我们采用nohup后台进程运行的方式

    nohup ./command.sh > output 2>&1 &

    注意这里回车exit一直到退出此进程,然后重新启动一个新进程

    Tail –f output观测实际的进展即可。

    3.3 最后导出成功后,需要重建索引并且迁移到单独的表空间,对lob字段单独表空间存储等

    oracle sql developer:http://pan.baidu.com/s/1hq7oIUg

    jtds:http://pan.baidu.com/s/1sjO7vop

  • 相关阅读:
    美的书,献给所有追求美的人
    《WCF揭秘》:欢迎大家来找我的茬(有奖)!
    这个寒冬,如何让我们的身价翻倍?
    微软中文论坛周年Party掠影
    ASP.NET 3.5之屠龙刀——《ASP.NET高级程序设计(第2版)》
    Red Hat Linux指南
    一部孟宪会推荐的C#图解教程
    左菜单js效果
    分享图标
    谷歌hack
  • 原文地址:https://www.cnblogs.com/tippoint/p/4001593.html
Copyright © 2011-2022 走看看