zoukankan      html  css  js  c++  java
  • SqlBulkCopy批量复制数据 转

    SqlBulkCopy sbc = new SqlBulkCopy(desConnString,SqlBulkCopyOptions.UseInternalTransaction);
    先生成SqlBulkCopy 实例,构造函数指定了目标数据库,使用SqlBulkCopyOptions.UseInternalTransaction是指迁移动作指定在一个Transaction当中,如果数据迁移中产生错误或异常将发生回滚。

    在.Net1.1中无论是对于批量插入整个DataTable中的所有数据到数据库中,还是进行不同数据源之间的迁移,都不是很方便。而在.Net2.0中,SQLClient命名空间下增加了几个新类帮助我们通过DataTable或DataReader批量迁移数据。数据源可以来自关系数据库或者XML文件,甚至WebService返回结果。其中最重要的一个类就是SqlBulkCopy类,使用它可以很方便的帮助我们把数据源的数据迁移到目标数据库中。
    下面我们先通过一个简单的例子说明这个类的使用:

    首先:web.config

     <connectionStrings>
        <add name="srcDBConnection" connectionString="server=.;database=pubs;uid=sa;pwd="/>
        <add name="desDBConnection" connectionString="server=.;database=NorthWind;uid=sa;pwd="/>
      </connectionStrings>
    

    C#文件: 前台不Copy了,就一个按钮,一个Label

     1 using System;
     2 using System.Data;
     3 using System.Configuration;
     4 using System.Collections;
     5 using System.Web;
     6 using System.Web.Security;
     7 using System.Web.UI;
     8 using System.Web.UI.WebControls;
     9 using System.Web.UI.WebControls.WebParts;
    10 using System.Web.UI.HtmlControls;
    11 using System.Data.SqlClient;
    12 
    13 public partial class ASP_NET : System.Web.UI.Page
    14 {
    15     private DateTime startTime;
    16 
    17     protected void Button1_Click(object sender, EventArgs e)
    18     {
    19         startTime = DateTime.Now;
    20         string srcConnString = "";
    21         string desConnString = "";
    22         SqlConnection srcConnection = new SqlConnection();
    23         SqlConnection desConnection = new SqlConnection();
    24         SqlCommand sqlcmd = new SqlCommand();
    25         SqlDataAdapter da = new SqlDataAdapter();
    26         DataTable dt = new DataTable();
    27         //srcConnString = ConfigurationManager.ConnectionStrings["srcDBConnection"].ConnectionString;
    28         desConnString = ConfigurationManager.ConnectionStrings["desDBConnection"].ToString();
    29         //srcConnection.ConnectionString = srcConnString;
    30         srcConnection.ConnectionString = desConnString;
    31         sqlcmd.Connection = srcConnection;
    32         //sqlcmd.CommandText = "select * from jobs";
    33         sqlcmd.CommandText = "select * from abc";
    34         sqlcmd.CommandType = CommandType.Text;
    35         sqlcmd.Connection.Open();
    36         da.SelectCommand = sqlcmd;
    37         da.Fill(dt);
    38 
    39         SqlBulkCopy sbc = new SqlBulkCopy(desConnString,SqlBulkCopyOptions.UseInternalTransaction);
    40         sbc.BulkCopyTimeout = 5000;
    41         sbc.SqlRowsCopied +=new SqlRowsCopiedEventHandler(OnRowsCopied);
    42         sbc.NotifyAfter = dt.Rows.Count;
    43 
    44         try
    45         {
    46            // sbc.DestinationTableName = "jobs";
    47             sbc.DestinationTableName = "bcd";
    48             sbc.WriteToServer(dt);
    49         }
    50         catch (Exception ex)
    51         {
    52             lblCounter.Text = ex.Message.ToString();
    53         }
    54         finally
    55         {
    56             sqlcmd.Clone();
    57             srcConnection.Close();
    58             desConnection.Close();
    59             
    60         }
    61 
    62     }
    63     private void OnRowsCopied(object sender, SqlRowsCopiedEventArgs args)
    64     {
    65         lblCounter.Text += args.RowsCopied.ToString() + " rows are copied<Br>";
    66         TimeSpan copyTime = DateTime.Now - startTime;
    67         lblCounter.Text += "Copy Time:" + copyTime.Seconds.ToString() + "." + copyTime.Milliseconds.ToString() + " seconds";
    68     }
    69 }

    代码分析:

    SqlBulkCopy sbc = new SqlBulkCopy(desConnString,SqlBulkCopyOptions.UseInternalTransaction);
    先生成SqlBulkCopy 实例,构造函数指定了目标数据库,使用SqlBulkCopyOptions.UseInternalTransaction是指迁移动作指定在一个Transaction当中,如果数据迁移中产生错误或异常将发生回滚。

    sbc.BulkCopyTimeout = 5000000;    //指定操作完成的Timeout时间

    sbc.SqlRowsCopied +=new SqlRowsCopiedEventHandler(OnRowsCopied);
      sbc.NotifyAfter = dt.Rows.Count;
    
            try
            {
               // sbc.DestinationTableName = "jobs";
                sbc.DestinationTableName = "bcd";
                sbc.WriteToServer(dt);
            }
    NotifyAfter 属性指定通知通知事件前处理的数据行数,在这里指定为表的行数,并添加SqlRowsCopied事件输出整个迁移过程的时间。 WriteToServer方法就是将数据源拷备到目标数据库。在使用WriteToServer方法之前必须先指定 DestinationTableName属性,也就是目标数据库的表名,

    性能方面:我在Sql中用proc插入68万条数据花了近8分钟,用SqlBulkCopy花了53.234秒~,效率高了7倍耶!不过现在也不做这方面的底层了,呵呵,把自己写的一个测试存储过程也贴上吧,方便自己学习

    create table abc
    (
      aid int identity(1,1) primary key,
      adesc varchar(50) not null
    )
    go
    
    /**//**********存储过程**********************/
    create proc addData
    as
    declare @i int
    set @i=1
    while @i < 1000000
    begin
    insert into abc values ('testDescription')
    set @i = @i + 1
    end
    go
    
    select * into titles from pubs.dbo.titles where  1> 3 复制跨数据库的表结构
  • 相关阅读:
    流程图的标准画法
    java应用,直接请求没问题,通过nginx跳转状态吗400
    jenkins启动java项目的jar包总是退出
    可以通过下面的脚本直观的看一下当前系统中所有进程的得分情况:
    sonarqube安装的坑
    Windows共享设定-使用net use添加网络盘带上账号密码
    Synctoy2.1使用定时任务0X1
    如果报错,使用 journalctl -f -t etcd 和 journalctl -u etcd 来定位问题。
    NodePort 只能在node节点上访问,外部无法访问
    mysql5.7 yum安装
  • 原文地址:https://www.cnblogs.com/weixing/p/2610168.html
Copyright © 2011-2022 走看看