zoukankan      html  css  js  c++  java
  • C#利用ODP.NET往oracle中高效插入百万数据

      由于工作的原因,要使用winform来处理大量的数据,但是c#自带的System.data.OracleClient效率不是很高,在网上找了很久,找到了ODP.NET,是oracle为c#提供的。貌似从vs2010开始,微软开始推荐使用ODP.NET。效率的话,在没有索引的情况下,100万数据,不到10秒。刚开始使用的时候,由于不是很懂,所以有一些步骤是多余的,现在重新修改下。(这里是需要安装ODAC客户端)

      1.从官网上下载ODAC,如果你是32位的机器,那下载32的;64位的,就下载64的。我的win7, 64位,所以我下载的是ODAC1120320_x64,具体地址:

      64位:http://www.oracle.com/technetwork/database/windows/downloads/index-090165.html

      32位:http://www.oracle.com/technetwork/developer-tools/visual-studio/downloads/index.html

      2.解压,然后点击 setup.exe 安装,然后在这个地址:D:app12product11.2.0client_1odp.netin2.x

      

      3.在项目中,添加引用,就可以使用了,用法跟自带的System.data.OracleClient差不多

      

      

      5.批量插入:

     1 //设置一个数据库的连接串   
     2 string connectStr = "User Id=scott;Password=tiger;Data Source=";   
     3 OracleConnection conn = new OracleConnection(connectStr);   
     4 OracleCommand command = new OracleCommand();   
     5 command.Connection = conn; //到此为止,还都是我们熟悉的代码,下面就要开始喽   
     6 //这个参数需要指定每次批插入的记录数   
     7 command.ArrayBindCount = recc;   
     8 //在这个命令行中,用到了参数,参数我们很熟悉,但是这个参数在传值的时候   
     9 //用到的是数组,而不是单个的值,这就是它独特的地方   
    10 command.CommandText = "insert into dept values(:deptno, :deptname, :loc)";   
    11 conn.Open();   
    12 //下面定义几个数组,分别表示三个字段,数组的长度由参数直接给出   
    13 int[] deptNo = new int[recc];   
    14 string[] dname = new string[recc];   
    15 string[] loc = new string[recc];   
    16 // 为了传递参数,不可避免的要使用参数,下面会连续定义三个   
    17 // 从名称可以直接看出每个参数的含义,不在每个解释了   
    18 OracleParameter deptNoParam = new OracleParameter("deptno",   
    19 OracleDbType.Int32);   
    20 deptNoParam.Direction = ParameterDirection.Input;   
    21 deptNoParam.Value = deptNo; command.Parameters.Add(deptNoParam);   
    22 OracleParameter deptNameParam = new OracleParameter("deptname",   
    23 OracleDbType.Varchar2);  
    24 deptNameParam.Direction = ParameterDirection.Input;   
    25 deptNameParam.Value = dname;   
    26 command.Parameters.Add(deptNameParam);  
    27  OracleParameter deptLocParam = new OracleParameter("loc", OracleDbType.Varchar2); 
    28 deptLocParam.Direction = ParameterDirection.Input;  
    29  deptLocParam.Value = loc;   
    30 command.Parameters.Add(deptLocParam);   
    31 Stopwatch sw = new Stopwatch();   
    32 sw.Start();   
    33 //在下面的循环中,先把数组定义好,而不是像上面那样直接生成SQL   
    34 for (int i = 0; i < recc; i++)  
    35 {   
    36 deptNo[i] = i;   
    37 dname[i] = i.ToString();   
    38 loc[i] = i.ToString();   
    39 }   
    40 //这个调用将把参数数组传进SQL,同时写入数据库   
    41 command.ExecuteNonQuery(); 
    42 sw.Stop(); 
    43 System.Diagnostics.Debug.WriteLine("批量插入:" + recc.ToString()   
    44 + "所占时间:" +sw.ElapsedMilliseconds.ToString());  

      

      6.上面的代码太乱,给一个已经封装好的批量插入的方法:

      1 /**
      2         * 批量插入数据
      3         * @tableName 表名称
      4         * @columnRowData 键-值存储的批量数据:键是列名称,值是对应的数据集合
      5         * @conStr 连接字符串
      6         * @len 每次批处理数据的大小
      7         */
      8         public static int BatchInsert(string tableName, Dictionary<string, object> columnRowData, string conStr, int len)
      9         {
     10             if (string.IsNullOrEmpty(tableName))
     11             {
     12                 throw new ArgumentException("必须指定批量插入的表名称", "tableName");
     13             }
     14 
     15             if (columnRowData == null || columnRowData.Count < 1)
     16             {
     17                 throw new ArgumentException("必须指定批量插入的字段名称", "columnRowData");
     18             }
     19 
     20             int iResult = 0;
     21             string[] dbColumns = columnRowData.Keys.ToArray();
     22             StringBuilder sbCmdText = new StringBuilder();
     23             if (columnRowData.Count > 0)
     24             {
     25                 //准备插入的SQL
     26                 sbCmdText.AppendFormat("INSERT INTO {0}(", tableName);
     27                 sbCmdText.Append(string.Join(",", dbColumns));
     28                 sbCmdText.Append(") VALUES (");
     29                 sbCmdText.Append(":" + string.Join(",:", dbColumns));
     30                 sbCmdText.Append(")");
     31 
     32                 using (OracleConnection conn = new OracleConnection(conStr))
     33                 {
     34                     using (OracleCommand cmd = conn.CreateCommand())
     35                     {
     36                         //绑定批处理的行数
     37                         cmd.ArrayBindCount = len;
     38                         cmd.BindByName = true;
     39                         cmd.CommandType = CommandType.Text;
     40                         cmd.CommandText = sbCmdText.ToString();
     41                         cmd.CommandTimeout = 600;//10分钟
     42 
     43                         //创建参数
     44                         OracleParameter oraParam;
     45                         List<IDbDataParameter> cacher = new List<IDbDataParameter>();
     46                         OracleDbType dbType = OracleDbType.Object;
     47                         foreach (string colName in dbColumns)
     48                         {
     49                             dbType = GetOracleDbType(columnRowData[colName]);
     50                             oraParam = new OracleParameter(colName, dbType);
     51                             oraParam.Direction = ParameterDirection.Input;
     52                             oraParam.OracleDbTypeEx = dbType;
     53 
     54                             oraParam.Value = columnRowData[colName];
     55                             cmd.Parameters.Add(oraParam);
     56                         }
     57                         //打开连接
     58                         conn.Open();
     59 
     60                         /*执行批处理*/
     61                         var trans = conn.BeginTransaction();
     62                         try
     63                         {
     64                             cmd.Transaction = trans;
     65                             iResult = cmd.ExecuteNonQuery();
     66                             trans.Commit();
     67                         }
     68                         catch (Exception ex)
     69                         {
     70                             trans.Rollback();
     71                             throw ex;
     72                         }
     73                         finally
     74                         {
     75                             if (conn != null) conn.Close();
     76                         }
     77 
     78                     }
     79                 }
     80             }
     81             return iResult;
     82         }
     83 
     84         /**
     85          * 根据数据类型获取OracleDbType
     86          */
     87         private static OracleDbType GetOracleDbType(object value)
     88         {
     89             OracleDbType dataType = OracleDbType.Object;
     90             if (value is string[])
     91             {
     92                 dataType = OracleDbType.Varchar2;
     93             }
     94             else if (value is DateTime[])
     95             {
     96                 dataType = OracleDbType.TimeStamp;
     97             }
     98             else if (value is int[] || value is short[])
     99             {
    100                 dataType = OracleDbType.Int32;
    101             }
    102             else if (value is long[])
    103             {
    104                 dataType = OracleDbType.Int64;
    105             }
    106             else if (value is decimal[] || value is double[] || value is float[])
    107             {
    108                 dataType = OracleDbType.Decimal;
    109             }
    110             else if (value is Guid[])
    111             {
    112                 dataType = OracleDbType.Varchar2;
    113             }
    114             else if (value is bool[] || value is Boolean[])
    115             {
    116                 dataType = OracleDbType.Byte;
    117             }
    118             else if (value is byte[])
    119             {
    120                 dataType = OracleDbType.Blob;
    121             }
    122             else if (value is char[])
    123             {
    124                 dataType = OracleDbType.Char;
    125             }
    126             return dataType;
    127         }

      7.调用封装的方法:

      

      8.完成。

      对于服务器上的oracle版本问题,我们的是10g,但是我用的ODP是11g的,还是可以插入数据,没什么问题,貌似可以向下兼容

  • 相关阅读:
    myisamchk命令修复表操作
    CentOS下的yum upgrade和yum update区别
    CentOS 6.9/7通过yum安装指定版本的MySQL
    Linux下Shell去除空行的方法
    Linux下环境变量设置技巧
    交互设计师如何做运营需求-以网易严选邀请新人功能设计为例
    对应用启动时间的关注和获取
    快速发现并解决maven依赖传递冲突
    mock测试方法及实践改进
    网易杭研易盾实习心得(4)
  • 原文地址:https://www.cnblogs.com/myCodingSky/p/3303000.html
Copyright © 2011-2022 走看看