zoukankan      html  css  js  c++  java
  • 用.NET SqlBulkCopy类执行批量复制

    在不同数据源之间转移数据是一个常见的开发任务。如果你应用过SQL Server,就会熟悉bcp(批量复制)命令。

    它允许你快速将大型文件批量复制到SQL Server表或视图中。在.NET Framework 1.1中,可以通过SqlCommand对象利用bcp,但.NET Framework 2.0中增加了SqlBulkCopy类来简化这个繁琐的过程。

    SqlBulkCopy

    虽然你仍然可以使用t-splbcp命令,但SqlBulkCopy类具有很强的性能优势。你只能使用这个类往SQL Server表中写入数据,但可以使用任何数据源。唯一要注意的地方在于,数据源的内容必须能够加载到一个DataTable对象中。

    在详细说明这个类的用法前,我们先简单概括这个类的功能:

    • 单独批量复制操作,可将数据从一个数据源移动到SQL Server表中。
    • 也可执行多个批量复制操作。
    • 在数据库事务中可执行批量复制操作。

    MSDN提供更多关于SqlBulkCopy类的方法和属性的细节。其最重要的属性为Destination TableName,最重要的方法为WriteToServer。

    DestinationTableName属性指定接受复制记录的表。由于它有一个由三部分组成的名称(database.owningschema.name),因此它遵循SQL Server语法。你可以用它的数据库和所有模式来限制表名称。

    数据库通过在连接字符串中指定(通过Initial Catalog值)。另外,如果表名称使用一个下划线或任何其它特殊的字符,你必须使用方括号避免这类名称,如[database.owningschema.name]。

    实际上由这个超载的WriteToServer方法执行批量复制。它接受DataTable、DataRow和IDataReader对象为复制数据源。你还可以用DataTable对象包含一个DataRowState值,指定仅复制匹配的行。

    下一个Windows控制台应用程序说明从一个数据库表向另一个数据库表复制数据这种非常基本的操作。从它的Employees表往这个表的备份表Employees_bcp中复制数据时,它使用标准的SQL Server 2000 Northwind数据库。

    ――――――――――――――――――――――――――――

    查看列表A列表B中为对应的VB.NET代码)。基本上,这段代码连接到数据库,并将所有值从Employees表读入SqlDataReader对象中。

    设定目标表名称后,则使用SqlDataReader对象执行批量复制操作(它作为唯一的参数提交)。你可以检查服务器上的目标表,看数据是否被复制。

    执行多次更新并无差异——你只需重复使用SqlDataReader对象即可。在同一个数据库中从一个表往另一个表复制是对bcp的误用。另一方面,从外部文件中输入数据是一个常见的操作。

    列表C在将一个文本文件输入到前一个例子中用到的表中时就采用了这个方法。(列表D中是对应的VB.NET代码。)这段代码建立一个新的DataTable对象,为每种数据设立列。

    每次读入一行文件,并用逗号分列,每个数据值分配给DataTable中适当的列。接下来,SqlBulkCopy类的ColumnMappings属性 允许你使用列名称,将数据源中(我们的DataTable)的一个列映射到目的地。完成映射后,WriteToServer方法使用提交给它的 DataTable执行批量操作。

    数据移植最佳实践

    虽然数据移植是开发者经常要执行的任务,但它并不是一个非常流行的任务。请在文后的讨论部分与.NET社区分享你的最轻松(最糟糕)的数据移植经历和最佳实践。

    ―――――――――――――――――――――――――――

    using System;

    using System.Collections.Generic;

    using System.Text;

    using System.Data.SqlClient;

    namespace BCP {

    class Program {

    static void Main(){

    string cString = "Data Source=(local);User ID=tester;Password=tester;Initial Catalog=Northwind;";

    using (SqlConnectionconn = new SqlConnection(cString))
    
    {
    conn.Open();
    SqlCommand comm = new SqlCommand("SELECT EmployeeID, FirstName, LastName, HomePhone FROM Employees;", conn);
    SqlDataReader reader = comm.ExecuteReader();

    using (SqlConnection conn2 = new SqlConnection(cString)){

    conn2.Open();

    using (SqlBulkCopy bcp = new SqlBulkCopy(conn2))
    
    {
    bcp.DestinationTableName = "dbo.Employees_bcp";

    try {
    bcp.WriteToServer(reader);

    } catch (Exception ex) {
    Console.WriteLine(ex.Message);

    } finally {
    reader.Close();

    } } } } } } }
    

    ―――――――――――――――――――――――――――

    Imports System.Data.SqlClient

    Module Module1

    Sub Main()

    Dim cString As String
    cString = "Data Source=(local);User ID=tester;Password=tester;Initial Catalog=Northwind;"

    Dim conn As New SqlConnection
    conn = New SqlConnection(cString)
    conn.Open()

    Dim comm As SqlCommand
    comm = New SqlCommand("SELECT EmployeeID, FirstName, LastName, HomePhone FROM Employees;", conn)

    Dim reader As SqlDataReader

    reader = comm.ExecuteReader()

    Dim conn2 As SqlConnection

    conn2 = New SqlConnection(cString)

    conn2.Open()

    Dim bcp As SqlBulkCopy
    bcp = New SqlBulkCopy(conn2)
    bcp.DestinationTableName = "dbo.Employees_bcp"

    Try
    bcp.WriteToServer(reader)

    Catch ex As Exception
    Console.WriteLine(ex.Message)

    Finally
    reader.Close()

    End Try

    End Sub

    End Module
    
    using System;

    using System.Collections.Generic;

    using System.Text;

    using System.Data.SqlClient;

    using System.IO;

    using System.Data;

    namespace BCP {

    class Program{

    static void Main(){

    string cString = "Data Source=(local);User ID=tester;Password=tester;Initial Catalog=Northwind;";

    using (SqlConnectionconn = new SqlConnection(cString)) {
    conn.Open();
    SqlCommandcomm = new SqlCommand("SELECT FirstName, LastName, HomePhone, Title FROM Employees;", conn);
    SqlDataReader reader = comm.ExecuteReader();

    using (SqlConnection conn2 = new SqlConnection(cString)) {

    conn2.Open();

    using (SqlBulkCopybcp = new SqlBulkCopy(conn2)){
    DataTabledt = new DataTable();
    DataRowdr;
    DataColumn dc;
    bcp.DestinationTableName = "dbo.Employees_bcp";

    dc = new DataColumn();
    dc.ColumnName = "Last";
    dt.Columns.Add(dc);

    dc = new DataColumn();
    dc.ColumnName = "First";
    dt.Columns.Add(dc);

    dc = new DataColumn();
    dc.ColumnName = "HomePhone";
    dt.Columns.Add(dc);

    dc = new DataColumn();
    dc.ColumnName = "Title";
    dt.Columns.Add(dc);
    StreamReadersr = new StreamReader(@"c:emp.txt");

    string input;

    while ((input = sr.ReadLine()) != null) {

    string[] s = input.Split(new char[] );
    dr = dt.NewRow();
    dr["Last"] = s[0];
    dr["First"] = s[1];
    dr["HomePhone"] = s[2];
    dr["Title"] = s[3];
    dt.Rows.Add(dr);

    }
    sr.Close();

    try {
    bcp.ColumnMappings.Add("Last", "LastName");
    bcp.ColumnMappings.Add("First", "FirstName");
    bcp.ColumnMappings.Add("Title","Title");
    bcp.ColumnMappings.Add("HomePhone","HomePhone");
    bcp.WriteToServer(dt);

    } catch (Exception ex){
    Console.WriteLine(ex.Message);

    } finally {
    reader.Close();

    } } } } } } }
    
    Imports System.Data

    Imports System.Data.SqlClient

    Imports System.IO

    Module Module1

    Sub Main()

    Dim cString As String

    Dim comma As Char

    comma = ","
    cString = "Data Source=(local);User ID=tester;Password=tester;Initial Catalog=Northwind;"

    Dim conn As New SqlConnection
    conn = New SqlConnection(cString)
    conn.Open()

    Dim comm As SqlCommand
    comm = New SqlCommand("SELECT EmployeeID, FirstName, LastName, HomePhone FROM Employees;", conn)

    Dim reader As SqlDataReader

    reader = comm.ExecuteReader()

    Dim conn2 As SqlConnection

    conn2 = New SqlConnection(cString)

    conn2.Open()

    Dim bcp As SqlBulkCopy
    bcp = New SqlBulkCopy(conn2)
    bcp.DestinationTableName = "dbo.Employees_bcp"

    Try

    Dim dt As DataTable

    Dim dr As DataRow

    Dim dc As DataColumn
    dt = New DataTable()
    bcp.DestinationTableName = "dbo.Employees_bcp"

    dc = New DataColumn()
    dc.ColumnName = "Last"
    dt.Columns.Add(dc)

    dc = New DataColumn()
    dc.ColumnName = "First"
    dt.Columns.Add(dc)

    dc = New DataColumn()
    dc.ColumnName = "HomePhone"
    dt.Columns.Add(dc)

    dc = New DataColumn()
    dc.ColumnName = "Title"
    dt.Columns.Add(dc)

    Dim sr As StreamReader
    sr = New StreamReader("c:emp.txt")

    Dim input As String

    input = sr.ReadLine()

    While Not (input Is Nothing)

    Dim s As String()

    s = input.Split(comma)
    dr = dt.NewRow()
    dr("Last") = s(1)
    dr("First") = s(2)
    dr("HomePhone") = s(3)
    dr("Title") = s(4)
    dt.Rows.Add(dr)

    input = sr.ReadLine()

    End While
    sr.Close()
    bcp.ColumnMappings.Add("Last", "LastName")
    bcp.ColumnMappings.Add("First", "FirstName")
    bcp.ColumnMappings.Add("Title", "Title")
    bcp.ColumnMappings.Add("HomePhone", "HomePhone")
    bcp.WriteToServer(dt)

    Catch ex As Exception
    Console.WriteLine(ex.Message)

    Finally
    reader.Close()

    End Try

    End Sub
    
    End Module
    
  • 相关阅读:
    深入理解yield from语法
    数据库事务并发问题,锁机制和对应的4种隔离级别
    同源策略与CORS跨域请求
    Restful 4 -- 认证组件、权限组件、频率组件、url注册器、响应器、分页器
    Restful 3 -- 序列化组件(GET/PUT/DELETE接口设计)、视图优化组件
    Restful 2 --DRF解析器,序列化组件使用(GET/POST接口设计)
    Restful 1 -- REST、DRF(View源码解读、APIView源码解读)及框架实现
    Vue(7)- vue-cookies、极验滑动验证geetest、vue-router的导航守卫
    Vue --6 router进阶、单页面应用(SPA)带来的问题
    Vue 5 -- axios、vuex
  • 原文地址:https://www.cnblogs.com/soundcode/p/2703642.html
Copyright © 2011-2022 走看看