C#操作海量数据（Oracle、SQL Server）

Oracle中的方法（使用ODP特性）

//设置一个数据库的连接串
string connectStr = "User Id=scott;Password=tiger;Data Source=";
OracleConnection conn = new OracleConnection(connectStr);
OracleCommand command = new OracleCommand();
command.Connection = conn;
//到此为止，还都是我们熟悉的代码，下面就要开始喽
//这个参数需要指定每次批插入的记录数
command.ArrayBindCount = recc;
//在这个命令行中,用到了参数,参数我们很熟悉,但是这个参数在传值的时候
//用到的是数组,而不是单个的值,这就是它独特的地方
command.CommandText = "insert into dept values(:deptno, :deptname, :loc)";
conn.Open();
//下面定义几个数组,分别表示三个字段,数组的长度由参数直接给出
int[] deptNo = new int[recc];
string[] dname = new string[recc];
string[] loc = new string[recc];
// 为了传递参数,不可避免的要使用参数,下面会连续定义三个
// 从名称可以直接看出每个参数的含义,不在每个解释了
OracleParameter deptNoParam = new OracleParameter("deptno", OracleDbType.Int32);
deptNoParam.Direction = ParameterDirection.Input;
deptNoParam.Value = deptNo;
command.Parameters.Add(deptNoParam);
OracleParameter deptNameParam = new OracleParameter("deptname", OracleDbType.Varchar2);
deptNameParam.Direction = ParameterDirection.Input;
deptNameParam.Value = dname; command.Parameters.Add(deptNameParam);
OracleParameter deptLocParam = new OracleParameter("loc", OracleDbType.Varchar2);
deptLocParam.Direction = ParameterDirection.Input;
deptLocParam.Value = loc;
command.Parameters.Add(deptLocParam);
//在下面的循环中,先把数组定义好,而不是像上面那样直接生成SQL
for (int i = 0; i < recc; i++)
{
    deptNo[i] = i;
    dname[i] = i.ToString();
    loc[i] = i.ToString();
}
//这个调用将把参数数组传进SQL,同时写入数据库
command.ExecuteNonQuery();

sql server中的方法

1）首先  web.config

<connectionStrings>
    <add name="srcDBConnection" connectionString="server=.;database=pubs;uid=sa;pwd="/>
    <add name="desDBConnection" connectionString="server=.;database=NorthWind;uid=sa;pwd="/>
  </connectionStrings>

2）C#文件:

using System;
using System.Data;
using System.Configuration;
using System.Collections;
using System.Web;
using System.Web.Security;
using System.Web.UI;
using System.Web.UI.WebControls;
using System.Web.UI.WebControls.WebParts;
using System.Web.UI.HtmlControls;
using System.Data.SqlClient;

public partial class ASP_NET : System.Web.UI.Page
{
    private DateTime startTime;

    protected void Button1_Click(object sender, EventArgs e)
    {
        startTime = DateTime.Now;
        string srcConnString = "";
        string desConnString = "";
        SqlConnection srcConnection = new SqlConnection();
        SqlConnection desConnection = new SqlConnection();
        SqlCommand sqlcmd = new SqlCommand();
        SqlDataAdapter da = new SqlDataAdapter();
        DataTable dt = new DataTable();
        //srcConnString = ConfigurationManager.ConnectionStrings["srcDBConnection"].ConnectionString;
        desConnString = ConfigurationManager.ConnectionStrings["desDBConnection"].ToString();
        //srcConnection.ConnectionString = srcConnString;
        srcConnection.ConnectionString = desConnString;
        sqlcmd.Connection = srcConnection;
        //sqlcmd.CommandText = "select * from jobs";
        sqlcmd.CommandText = "select * from abc";
        sqlcmd.CommandType = CommandType.Text;
        sqlcmd.Connection.Open();
        da.SelectCommand = sqlcmd;
        da.Fill(dt);

        SqlBulkCopy sbc = new SqlBulkCopy(desConnString,SqlBulkCopyOptions.UseInternalTransaction);
        sbc.BulkCopyTimeout = 5000;
        sbc.SqlRowsCopied +=new SqlRowsCopiedEventHandler(OnRowsCopied);
        sbc.NotifyAfter = dt.Rows.Count;

        try
        {
           // sbc.DestinationTableName = "jobs";
            sbc.DestinationTableName = "bcd";
            sbc.WriteToServer(dt);
        }
        catch (Exception ex)
        {
            lblCounter.Text = ex.Message.ToString();
        }
        finally
        {
            sqlcmd.Clone();
            srcConnection.Close();
            desConnection.Close();
            
        }

    }
    private void OnRowsCopied(object sender, SqlRowsCopiedEventArgs args)
    {
        lblCounter.Text += args.RowsCopied.ToString() + " rows are copied<Br>";
        TimeSpan copyTime = DateTime.Now - startTime;
        lblCounter.Text += "Copy Time:" + copyTime.Seconds.ToString() + "." + copyTime.Milliseconds.ToString() + " seconds";
    }
}

 

 

3）代码分析:

 

SqlBulkCopy sbc = new SqlBulkCopy(desConnString,SqlBulkCopyOptions.UseInternalTransaction);
先生成SqlBulkCopy 实例，构造函数指定了目标数据库，使用SqlBulkCopyOptions.UseInternalTransaction是指迁移动作指定在一个Transaction当中，如果数据迁移中产生错误或异常将发生回滚

sbc.BulkCopyTimeout = 5000000;    //指定操作完成的Timeout时间

sbc.SqlRowsCopied +=new SqlRowsCopiedEventHandler(OnRowsCopied);
  sbc.NotifyAfter = dt.Rows.Count;

        try
        {
           // sbc.DestinationTableName = "jobs";
            sbc.DestinationTableName = "bcd";
            sbc.WriteToServer(dt);
        }
NotifyAfter 属性指定通知通知事件前处理的数据行数，在这里指定为表的行数，并添加SqlRowsCopied事件输出整个迁移过程的时间。 WriteToServer方法就是将数据源拷备到目标数据库。在使用WriteToServer方法之前必须先指定 DestinationTableName属性，也就是目标数据库的表名。