SqlBulkCopy(批量复制)使用方法

轉載：

 

SqlBulkCopy(批量复制)使用方法

Posted on 2011-02-16 11:01 宽田 阅读(3510) 评论(0) 编辑 收藏

    SqlBulkCopy提供了一种将数据复制到Sql Server数据库表中高性能的方法。SqlBulkCopy 包含一个方法 WriteToServer，它用来从数据的源复制数据到数据的目的地。 WriteToServer方法可以处理的数据类型有DataRow[]数组，DataTable 和 DataReader。 你可以根据不同的情形使用不同的数据类型。SqlBulkCopy其原理是采用了SQL Server的BCP协议进行数据的批量复制。

    用法

    1、将数据库中的表复制到另一个数据库中的表。

    本例将Pubs数据库的stores表中的资料复制到Northwind数据库的store表中。这两个表结构相同。

using System.Data; using System.Data.SqlClient; using System.Configuration;
         /// <summary>         /// 数据库中的表复制到另一个数据库中的表         /// </summary>         private void SqlBulkCopyMethod()         {             try             {                 SqlConnection connetionPub =  new SqlConnection(ConfigurationManager.ConnectionStrings["PubsDB"].ConnectionString);                 using (connetionPub)                 {                     SqlCommand commandPub = connetionPub.CreateCommand();                     using (commandPub)                     {                         commandPub.CommandText = "select * from stores";                         commandPub.CommandType = System.Data.CommandType.Text;                         connetionPub.Open();
                        SqlConnection connectionBulkCopy =  new SqlConnection(ConfigurationManager.ConnectionStrings["NorthwindDB"].ConnectionString);                         using (connectionBulkCopy)                         {                             connectionBulkCopy.Open();                             SqlDataReader dataReader = commandPub.ExecuteReader();                             SqlBulkCopy bulkCopy = new SqlBulkCopy(connectionBulkCopy);                             using (bulkCopy)                             {                                 bulkCopy.DestinationTableName = "store";                                 bulkCopy.WriteToServer(dataReader);                             }                         }                     }                 }
            }             catch (Exception ex)             {                 throw ex;             }         }
 

    2、将DataTable中的资料批量插入到数据库中。

using System.Data; using System.Data.SqlClient; using System.Configuration;         /// <summary>         /// 将表中资料批量插入到数据库         /// 转自：http://www.cnblogs.com/mrliuc/archive/2011/01/18/1938271.html         /// </summary>         /// <param name="connectionString"></param>         /// <param name="TableName"></param>         /// <param name="dt"></param>         private void SqlBulkCopyByDatatable(string connectionString, string TableName, DataTable dt)         {             using (SqlConnection conn = new SqlConnection(connectionString))             {                 using (SqlBulkCopy sqlbulkcopy =  new SqlBulkCopy(connectionString, SqlBulkCopyOptions.UseInternalTransaction))                 {                     try                     {                         sqlbulkcopy.DestinationTableName = TableName;                         for (int i = 0; i < dt.Columns.Count; i++)                         {                             sqlbulkcopy.ColumnMappings.Add(dt.Columns[i].ColumnName, dt.Columns[i].ColumnName);                         }                         sqlbulkcopy.WriteToServer(dt);                     }                     catch (System.Exception ex)                     {                         throw ex;                     }                 }             }         }

    在博客园中看到下边文章挺有用处，此处摘过来。原文：http://www.cnblogs.com/stalwart/archive/2011/01/07/1930207.html

   1、从一个表 复制数据到另一个表

using System.Data; using System.Data.SqlClient; using System.Configuration;
        /// <summary>         /// 从一个表复制到别一个表         /// </summary>         private void PerformBulkCopy()         {             string connectionString = @"Server=localhost;Database=Northwind;Trusted_Connection=true";
            // 源              using (SqlConnection sourceConnection = new SqlConnection(connectionString))             {                 SqlCommand myCommand = new SqlCommand("SELECT * FROM Products_Archive", sourceConnection);                 sourceConnection.Open();                 SqlDataReader reader = myCommand.ExecuteReader();
                // 目的                  using (SqlConnection destinationConnection = new SqlConnection(connectionString))                 {                     // 打开连接                      destinationConnection.Open();
                    using (SqlBulkCopy bulkCopy = new SqlBulkCopy(destinationConnection.ConnectionString))                     {                         bulkCopy.BatchSize = 500;                         bulkCopy.NotifyAfter = 1000;                         bulkCopy.SqlRowsCopied += new SqlRowsCopiedEventHandler(bulkCopy_SqlRowsCopied);                         bulkCopy.DestinationTableName = "Products_Latest";                         bulkCopy.WriteToServer(reader);                     }                 }                 reader.Close();             }         }
        public void bulkCopy_SqlRowsCopied(object obj, SqlRowsCopiedEventArgs e)         {             //执行事件处理方法         }  

注意：

        首先，我使用DataReader来从数据库的表中读取数据。 Products_Latest是目的表，因为数据要从Products_Archive表复制到Products_Latest表。 bulkCopy对象提供了一个SqlRowCopied事件，在每次处理完NotifyAfter属性指定的行数时发生。 本例中的意思就是每处理完1000行就触发一次该事件，因为NotifyAfter被设置成了1000。        BatchSize属性是非常重要的，程序性能如何主要就依靠着它。 BatchSize的意思就是同每一批次中的行数，在每一批次结束时，就将该批次中的行发送到数据库。 我将BatchSize设置成了500，其意思就是reader每读出500行就将他们发送到数据库从而执行批量复制的操作。 BatchSize的默认值是“1”，其意思就是把每一行作为一个批次发送到数据库。设置不同的BatchSize在性能上将给你带来不同的结果。 你应该根据你的需求进行测试，来决定BatchSize的大小。

  2、在不同的映射表之间复制数据

        上面的例子中两个表具有相同的结构。 有时，你需要在具有不同结构的表之间复制数据。

        /// <summary>         /// 不同表之间复制数据         /// </summary>         private static void PerformBulkCopyDifferentSchema()         {             string connectionString = @"Server=localhost;Database=Northwind;Trusted_Connection=true";             DataTable sourceData = new DataTable();             // 源              using (SqlConnection sourceConnection = new SqlConnection(connectionString))             {                 SqlCommand myCommand = new SqlCommand("SELECT TOP 5 * FROM Products_Archive", sourceConnection);                 sourceConnection.Open();                 SqlDataReader reader = myCommand.ExecuteReader();
                // 目的                 using (SqlConnection destinationConnection = new SqlConnection(connectionString))                 {                     // 打开连接                     destinationConnection.Open();                     using (SqlBulkCopy bulkCopy = new SqlBulkCopy(destinationConnection.ConnectionString))                     {                         bulkCopy.ColumnMappings.Add("ProductID", "ProductID");                         bulkCopy.ColumnMappings.Add("ProductName", "Name");                         bulkCopy.ColumnMappings.Add("QuantityPerUnit", "Quantity");                         bulkCopy.DestinationTableName = "Products_TopSelling";                         bulkCopy.WriteToServer(reader);                     }                 }                 reader.Close();             }         }

ColumnMappings集合用于映射源表和目的表之间的列。

 

  3、从XML文件复制数据到数据库的表中

    数据源并不局限于数据库的表，你也可以使用XML文件做数据源。 这里有一个非常简单的使用XML文件做数据源进行批量复制操作的例子。

<?xml version="1.0" encoding="utf-8" ?> <Products>   <Product productID="1" productName="Chai" />   <Product productID="2" productName="Football" />   <Product productID="3" productName="Soap" />   <Product productID="4" productName="Green Tea" /> </Products>

        /// <summary>         /// 使用XML作为数据源         /// </summary>         private static void PerformBulkCopyXMLDataSource()         {             string connectionString = @"Server=localhost;Database=Northwind;Trusted_Connection=true";
            DataSet ds = new DataSet();             DataTable sourceData = new DataTable();             ds.ReadXml(@"C:Products.xml");             sourceData = ds.Tables[0];             // 目的              using (SqlConnection destinationConnection = new SqlConnection(connectionString))             {                 // 打开连接                  destinationConnection.Open();                 using (SqlBulkCopy bulkCopy = new SqlBulkCopy(destinationConnection.ConnectionString))                 {                     // 列映射                     bulkCopy.ColumnMappings.Add("productID", "ProductID");                     bulkCopy.ColumnMappings.Add("productName", "Name");
                    bulkCopy.DestinationTableName = "Products_TopSelling";                     bulkCopy.WriteToServer(sourceData);                 }             }         }

    首先把XML文件读进DataTable，然后再使用SqlBulkCopy类的WriteToServer方法。 因为目的表示是Products_TopSelling，所以我们必须执行列映射。

 

--------------------------------------以上沒有涉及事務，一下是使用事務的一個列子---------------------------------

     public void SqlBulkCopyData(DataTable dataTable)      

   {            

        // SQL 数据连接             SqlConnection sqlConnection = null;      

       // 打开数据库             this.Open();            

// 获取连接             sqlConnection = (SqlConnection)GetDbConnection();           

  using (SqlTransaction tran = sqlConnection.BeginTransaction())        

     {              

   // 批量保存数据，只能用于Sql         

        SqlBulkCopy sqlbulkCopy = new SqlBulkCopy(sqlConnection, SqlBulkCopyOptions.Default, tran);             

    // 设置源表名称         

        sqlbulkCopy.DestinationTableName = dataTable.TableName;       

          // 设置超时限制    

             sqlbulkCopy.BulkCopyTimeout = 1000;

        //如果當前表列名和數據庫列名一模一樣，可以不用寫foreach語句

                foreach (DataColumn dtColumn in dataTable.Columns)      

           {                 

          sqlbulkCopy.ColumnMappings.Add(dtColumn.ColumnName, dtColumn.ColumnName);        

         }        

         try           

      {                 

        // 写入               

          sqlbulkCopy.WriteToServer(dataTable);    

                 // 提交事务              

       tran.Commit();             

    }            

     catch    

  {                

         tran.Rollback();            

         sqlbulkCopy.Close();          

       }           

      finally             

    {     

                sqlbulkCopy.Close();       

              this.Close();               

  }       

      }       

  }