zoukankan      html  css  js  c++  java
  • ORACLE SQLloader详细语法

    Oracle   SQL   Loader的详细语法   
      SQL*LOADER是ORACLE的数据加载工具,通常用来将操作系统文件迁移到ORACLE数据库中。SQL*LOADER是大型数据   
      仓库选择使用的加载方法,因为它提供了最快速的途径(DIRECT,PARALLEL)。现在,我们抛开其理论不谈,用实例来使您快速掌握SQL*LOADER的使用方法。   
       首先,我们认识一下SQL*LOADER。   
       在NT下,SQL*LOADER的命令为SQLLDR,在UNIX下一般为sqlldr/sqlload。   
       如执行:d:oracle>sqlldr   
      SQL*Loader:   Release   8.1.6.0.0   -   Production   on   星期二   1月   8   11:06:42   2002   
      (c)   Copyright   1999   Oracle   Corporation.   All   rights   reserved.   
      用法:   SQLLOAD   关键字   =   值   [,keyword=value,...]   
      有效的关键字:   
      userid   --   ORACLE   username/password   
      control   --   Control   file   name   
      log   --   Log   file   name   
      bad   --   Bad   file   name   
      data   --   Data   file   name   
      discard   --   Discard   file   name   
      discardmax   --   Number   of   discards   to   allow   (全部默认)   
      skip   --   Number   of   logical   records   to   skip   (默认0)   
      load   --   Number   of   logical   records   to   load   (全部默认)   
      errors   --   Number   of   errors   to   allow   (默认50)   
      rows   --   Number   of   rows   in   conventional   path   bind   array   or   between   direct   path   data   saves   
      (默认:   常规路径   64,   所有直接路径)   
      bindsize   --   Size   of   conventional   path   bind   array   in   bytes(默认65536)   
      silent   --   Suppress   messages   during   run   (header,feedback,errors,discards,partitions)   
      direct   --   use   direct   path   (默认FALSE)   
      parfile   --   parameter   file:   name   of   file   that   contains   parameter   specifications   
      parallel   --   do   parallel   load   (默认FALSE)   
      file   --   File   to   allocate   extents   from   
      skip_unusable_indexes   --   disallow/allow   unusable   indexes   or   index   partitions(默认FALSE)   
      skip_index_maintenance   --   do   not   maintain   indexes,   mark   affected   indexes   as   unusable(默认FALSE)   
      commit_discontinued   --   commit   loaded   rows   when   load   is   discontinued(默认FALSE)   
      readsize   --   Size   of   Read   buffer   (默认1048576)   
      PLEASE   NOTE:   命令行参数可以由位置或关键字指定   
      。前者的例子是   'sqlload  scott/tiger   foo';后者的例子是   'sqlload   control=foo userid=scott/tiger'.位置指定参数的时间必须早于但不可迟于由关键字指定的参数。例如,   
      'SQLLOAD   SCott/tiger   control=foo   logfile=log',   但'不允许                             
    sqlload   scott/tiger   control=foo   log',即使允许 参数   'log'   的位置正确。   
      d:oracle>   
      我们可以从中看到一些基本的帮助信息,这里,我用到的是中文的WIN2000 ADV SERVER。   
           我们知道,SQL*LOADER只能导入纯文本,所以我们现在开始以实例来讲解其用法。   
           一、已存在数据源result.csv,欲倒入ORACLE中FANCY用户下。   
             result.csv内容:   
           1,默认   Web   站点,192.168.2.254:80:,RUNNING   
           2,other,192.168.2.254:80:test.com,STOPPED   
           3,third,192.168.2.254:81:thirdabc.com,RUNNING   
           从中,我们看出4列,分别以逗号分隔,为变长字符串。   
           二、制定控制文件result.ctl   
      result.ctl内容:   
      load   data   
      infile   'result.csv'   
      into   table   resultxt     
      (resultid   char   terminated   by   ',',   
      website   char   terminated   by   ',',   
      ipport   char   terminated   by   ',',   
      status   char   terminated   by   whitespace)   
           说明:   
           infile 指数据源文件 这里我们省略了默认的 discardfile   result.dsc   badfile   result.bad   
           into   table   resultxt   默认是INSERT,也可以into   table   resultxt   APPEND为追加方式,或REPLACE   
           terminated   by   ',' 指用逗号分隔   
           terminated   by   whitespace 结尾以空白分隔   
           三、此时我们执行加载:   
      D:>sqlldr   userid=fancy/testpass   control=result.ctl   log=resulthis.out   
      SQL*Loader:   Release   8.1.6.0.0   -   Production   on   星期二   1月   8   10:25:42   2002   
      (c)   Copyright   1999   Oracle   Corporation.   All   rights   reserved.   
      SQL*Loader-941:   在描述表RESULTXT时出现错误   
      ORA-04043:   对象   RESULTXT   不存在   
           提示出错,因为数据库没有对应的表。   
           四、在数据库建立表   
          create   table   resultxt   
      (resultid   varchar2(500),   
      website   varchar2(500),   
      ipport   varchar2(500),   
      status   varchar2(500))   
      /   
          五、重新执行加载   
           D:>sqlldr   userid=fancy/k1i7l6l8   control=result.ctl   log=resulthis.out   
      SQL*Loader:   Release   8.1.6.0.0   -   Production   on   星期二   1月   8   10:31:57   2002   
      (c)   Copyright   1999   Oracle   Corporation.   All   rights   reserved.   
      达到提交点,逻辑记录计数2   
      达到提交点,逻辑记录计数3   
           已经成功!我们可以通过日志文件来分析其过程:resulthis.out内容如下:   
      SQL*Loader:   Release   8.1.6.0.0   -   Production   on   星期二   1月   8   10:31:57   2002   
      (c)   Copyright   1999   Oracle   Corporation.   All   rights   reserved.   
      控制文件:   result.ctl   
      数据文件:   result.csv   
      错误文件:   result.bad   
      废弃文件:   未作指定   
      :     
      (可废弃所有记录)   
      装载数:   ALL   
      跳过数:   0   
      允许的错误:   50   
      绑定数组:   64   行,最大   65536   字节   
      继续:   未作指定   
      所用路径:   常规   
      表RESULTXT   
      已载入从每个逻辑记录   
      插入选项对此表INSERT生效   
      列名   位置   长度   中止   包装数据类型   
      ------------------------------   ----------   -----   ----   ----   ---------------------   
      RESULTID   FIRST   *   ,   CHARACTER     
      WEBSITE   NEXT   *   ,   CHARACTER     
      IPPORT   NEXT   *   ,   CHARACTER     
      STATUS   NEXT   *   WHT   CHARACTER     
      表RESULTXT:     
      3   行载入成功   
      由于数据错误,   0   行没有载入。   
      由于所有   WHEN   子句失败,   0   行没有载入。   
      由于所有字段都为空的,   0   行没有载入。   
      为结合数组分配的空间:   65016字节(63行)   
      除绑定数组外的内存空间分配:   0字节   
      跳过的逻辑记录总数:   0   
      读取的逻辑记录总数:   3   
      拒绝的逻辑记录总数:   0   
      废弃的逻辑记录总数:   0   
      从星期二   1月   08   10:31:57   2002开始运行   
      在星期二   1月   08   10:32:00   2002处运行结束   
      经过时间为:   00:   00:   02.70   
      CPU   时间为:   00:   00:   00.10(可   
           六、并发操作   
      sqlldr   userid=/   control=result1.ctl   direct=true   parallel=true   
      sqlldr   userid=/   control=result2.ctl   direct=true   parallel=true   
      sqlldr   userid=/   control=result2.ctl   direct=true   parallel=true   
      当加载大量数据时(大约超过10GB),最好抑制日志的产生:   
           SQL>ALTER   TABLE   RESULTXT   nologging;   
      这样不产生REDO LOG,可以提高效率。然后在CONTROL文件中load   data上面加一行:unrecoverable     此选项必须要与DIRECT共同应用。   
       在并发操作时,ORACLE声称可以达到每小时处理100GB数据的能力!其实,估计能到1-10G就算不错了,开始可用结构 相同的文件,但只有少量数据,成功后开始加载大量数据,这样可以避免时间的浪费。   
      有关SQLLDR的问题     
      控制文件:input.ctl,内容如下:     
           load   data             --1、控制文件标识     
           infile   'test.txt'         --2、要输入的数据文件名为test.txt     
           append   into   table   test    --3、向表test中追加记录     
           fields   terminated   by   X'09'  --4、字段终止于X'09',是一个制表符(TAB)     
           (id,username,password,sj)     -----定义列对应顺序     
        
      其中append为数据装载方式,还有其他选项:     
      a、insert,为缺省方式,在数据装载开始时要求表为空     
      b、append,在表中追加新记录     
      c、replace,删除旧记录,替换成新装载的记录     
      d、truncate,同上      
    ==================================================================================
    PS:    下面是我用C#写的调用SQL_LOADER的方法
    Private Function Exec_SqlLoader(ByVal s_aFilePath As String, ByVal o_afileName As Hashtable, ByRef s_aErrMsg As String) As Boolean
            FilePath = s_aFilePath.Trim("")
            Dim ctlPath As String = FilePath + "control"
            s_aErrMsg = ""
            Try
                For i As Integer = 1 To 4
                    Dim strmReader As New StreamReader(ctlPath + "01" + i.ToString() + ".ctl")
                    Dim ctlContent As String = strmReader.ReadToEnd()
                    ctlContent = ctlContent.Replace("{{dataFile}}", o_afileName.Item(i.ToString))
                    strmReader.Close()
                    strmReader = Nothing
                    Dim strCtlName As String = ctlPath + "01" + i.ToString() + "new.ctl"
                    Dim strLogName As String = ctlPath + "01" + i.ToString() + "new.log"
                    Dim strBadName As String = ctlPath + "01" + i.ToString() + "new.bad"
                    Dim strDscName As String = ctlPath + "01" + i.ToString() + "new.dsc"
                    Dim strmWriter As StreamWriter = File.CreateText(strCtlName)
                    strmWriter.Write(ctlContent)
                    strmWriter.Close()
                    strmWriter = Nothing
                    If (File.Exists(strBadName)) Then
                        File.Delete(strBadName)
                    End If
                    Dim connSetting As String() = thisVersion.MSD_ConnectionStr.Split(";")
                    Dim serviceName As String = CType(connSetting.GetValue(0), String)
                    serviceName = serviceName.Substring(serviceName.IndexOf("=") + 1)
                    Dim userId As String = CType(connSetting.GetValue(1), String)
                    userId = userId.Substring(userId.IndexOf("=") + 1)
                    Dim password As String = CType(connSetting.GetValue(2), String)
                    password = password.Substring(password.IndexOf("=") + 1)
                    Dim strPathName As String
                    strPathName = "sqlldr " + userId + "/" + password + "@" + serviceName + " control='" + strCtlName + "' log='" + strLogName + "' bad='" + strBadName + "' discard='" + strDscName + "' errors=500"
                    Microsoft.VisualBasic.Shell(strPathName, AppWinStyle.MinimizedFocus, True)
                    If (File.Exists(strBadName)) Then
                        File.Copy(strBadName, FilePath + "BatchLogERROR_001" + i.ToString() + ".txt", True)
                        a_sErrMsg += "这里写抛出的警告信息" + vbCrLf + vbTab
                        
                    End If
                Next
                
                Return True
            Catch ex As Exception
                a_sErrMsg += ex.ToString()
                ms_BatchLogMsg = ex.Message 
                Return False
            End Try
        End Function
  • 相关阅读:
    【简单算法】27.验证二叉搜索树
    【简单算法】26. 二叉树的最大深度
    【简单算法】25. 环形链表
    pandas 数据处理
    主成分分析 PCA
    hive 导出数据到本地
    深度学习的优化方法 总结
    ALS算法 (面试准备)
    Bagging和Boosting的区别(面试准备)
    ROC 曲线,以及AUC计算方式
  • 原文地址:https://www.cnblogs.com/hllnj2008/p/4028001.html
Copyright © 2011-2022 走看看