zoukankan      html  css  js  c++  java
  • SqlServer使用SqlBulkCopy批量新增和更新数据,快速高效

    using System;
    using System.Collections.Generic;
    using System.Data;
    using System.Linq;
    using System.Text;
    using System.Data.SqlClient;
    using System.Collections;
    using System.Reflection;
    using System.Configuration;
     
    namespace Magic.Tool
    {
        /// <summary>
        /// sqlserver数据库批量新增修改类
        /// </summary>
        public static class SqlBulkHelper
        {
            #region 数据库连接字符串
            /// <summary>
            /// 数据库连接字符串
            /// </summary>
            public static readonly string ConnString = ConfigurationManager.ConnectionStrings["ConnectionString"].ConnectionString;
            #endregion
     
            #region SqlBulkCopy方式批量新增数据
            /// <summary>
            /// SqlBulkCopy方式批量新增数据
            /// </summary>
            /// <typeparam name="T">对象</typeparam>
            /// <param name="modelList">实体类集合</param>
            /// <param name="destinationTableName">目标表明</param>
            /// <param name="removeColumns">移除的字段列集合</param>
            /// <param name="bulkCopyTimeout">超时时间</param>
            public static void BulkCopy<T>(List<T> modelList, string destinationTableName, List<string> removeColumns = null, int? bulkCopyTimeout = null)
            {
                if (string.IsNullOrEmpty(destinationTableName))
                {
                    destinationTableName = typeof(T).Name;
                }
                var dt = ContainHelper.ListToTable(modelList);
                if (removeColumns != null && removeColumns.Count > 0)
                {
                    foreach (var item in removeColumns)
                    {
                        dt.Columns.Remove(item);
                    }
                }
                using (SqlConnection conn = new SqlConnection(ConnString))
                {
                    using (var sbc = new SqlBulkCopy(conn))
                    {
                        sbc.BatchSize = modelList.Count;
                        sbc.DestinationTableName = destinationTableName;
                        sbc.BulkCopyTimeout = bulkCopyTimeout ?? 300;
                        conn.Open();
                        sbc.WriteToServer(dt);
                    }
                }
            }
            #endregion
     
            #region SqlBulkCopy方式批量修改数据
            /// <summary>
            /// SqlBulkCopy方式批量修改数据
            /// </summary>
            /// <typeparam name="T">对象</typeparam>
            /// <param name="modelList">实体类集合</param>
            /// <param name="onRelations">关联字段</param>
            /// <param name="destinationTableName">目标表名</param>
            /// <param name="removeColumns">移除的字段列集合</param>
            /// <param name="UpdateColumns">更新的字段集合,不填则全部</param>
            public static void BatchUpdate<T>(List<T> modelList, string onRelations, string destinationTableName = null, List<string> removeColumns = null, List<string> UpdateColumns = null)
            {
                if (string.IsNullOrEmpty(destinationTableName))
                    destinationTableName = typeof(T).Name.Replace("EN", "");
                var dt = ContainHelper.ListToTable(modelList);
                if (removeColumns != null && removeColumns.Count > 0)
                {
                    foreach (var item in removeColumns)
                    {
                        dt.Columns.Remove(item);
                    }
                }
                var sbUpdateColumns = new StringBuilder();
                var columnsIndex = 0;
                //只更新某字段
                if (UpdateColumns != null && UpdateColumns.Count > 0)
                {
                    foreach (var updateColumn in UpdateColumns)
                    {
                        if (columnsIndex > 0)
                        {
                            sbUpdateColumns.Append(", ");
                        }
                        sbUpdateColumns.AppendFormat("T.{0} = Tmp.{0}", updateColumn);
                        columnsIndex++;
                    }
                }
                else
                {
                    //更新全部字段
                    for (var i = 0; i < dt.Columns.Count; i++)
                    {
                        var colname = dt.Columns[i];
                        if (colname.ColumnName != onRelations)
                        {
                            if (columnsIndex > 0)
                            {
                                sbUpdateColumns.Append(", ");
                            }
                            sbUpdateColumns.AppendFormat("T.{0} = Tmp.{0}", colname.ColumnName);
                            columnsIndex++;
                        }
                    }
                }
     
     
                string sbOnRelation = string.Format("T.{0} = Tmp.{1}", onRelations, onRelations);
                var tempTableName = @"#Temp" + destinationTableName;
                var createtempsql = string.Format("select * into {0} from {1} where 1=2", tempTableName, destinationTableName);
                var updatesql = string.Format("UPDATE T SET {0} FROM {1} T INNER JOIN {2} Tmp ON {3}; DROP TABLE {2};", sbUpdateColumns.ToString(), destinationTableName, tempTableName, sbOnRelation.ToString());
     
                using (SqlConnection conn = new SqlConnection(ConnString))
                {
                    using (SqlCommand command = new SqlCommand("", conn))
                    {
                        try
                        {
                            conn.Open();
                            command.CommandText = createtempsql;
                            command.ExecuteNonQuery();
                            using (SqlBulkCopy bulkcopy = new SqlBulkCopy(conn))
                            {
                                bulkcopy.BulkCopyTimeout = 300;
                                bulkcopy.DestinationTableName = tempTableName;
                                bulkcopy.WriteToServer(dt);
                                bulkcopy.Close();
                            }
     
                            command.CommandTimeout = 300;
                            command.CommandText = updatesql;
                            int countQuery = command.ExecuteNonQuery();
                        }
                        catch (Exception ex)
                        {
                            Console.WriteLine("BatchUpdate:{0}表失败,原因:{1}", destinationTableName, ex.Message + ex.StackTrace);
                            // Handle exception properly
                        }
                        finally
                        {
                            //stopwatch.Stop();
                            //Console.WriteLine("更新耗时:{0}",stopwatch.ElapsedMilliseconds);
                            //list.Clear();
                            conn.Close();
                        }
                    }
                }
            }
            #endregion
     
        }
    }

    MSCL超级工具类库
    基于C#开发的超强工具类,包含数据库操作,字符串处理,文件或者文件夹处理
    网络请求,缓存处理,数据容器等上百个常用工具类封装,附带调用示例和参数说明,
    提供CHM详细文档,上百个生产环境使用,稳定高效,简单易用。
    真正做到“工具在手,一切尽有”,让你大幅度的提高编程效率,提高编程水平。
    联系QQ:7400799(请备注 "MSCL")

    ===============================================

    重要压缩文件忘记解压密码?网上下载rar/zip/7z等压缩文件,需要密码?
    ====极速解密助手,支持支持RAR/ZIP/7Z等多种压缩文档解密======
    ★ 解密不超过24小时,跟密码复杂程度相关
    ★ 解密成功后再收费,无套路
    ★ 解密成功后自动删除原件,无后顾之忧
    联系QQ:7400799(请备注 "文件解密")

    ==============================================

    Magic.Orm已在数百个成熟项目中应用,是比较完善的ORM框架(基于C#开发)。开发过程中参考了NBear与MySoft,吸取了其中的一些精华,加入新思想,
    后期参考EF的Lambda语法进行大量扩展。

    为什么选择Magic.Orm?

    • 上手简单,0学习成本。使用方便,按照sql书写习惯编写C#.NET代码。功能强大。
    • 高性能,接近手写Sql。
    • 体积小(不到200kb,仅一个dll)。
    • 完美支持Sql Server(2000至最新版),MySql,Oracle,Access,Sqlite等数据库。
    • 支持大量Lambda表达式写法。
    • 不需要像NHibernate的XML配置,不需要像EF的各种数据库连接驱动,集成简单。

    购买源码 请联系QQ:7400799(请备注 "ORM")

  • 相关阅读:
    自己动手实现java数据结构(五)哈希表
    自己动手实现java数据结构(四)双端队列
    自己动手实现java数据结构(三) 栈
    自己动手实现java数据结构(二) 链表
    自己动手实现java数据结构(一) 向量
    redis学习(七)redis主从复制
    redis学习(六)redis管道
    msf之meterpreter权限绑定以及端口转发
    MSF查找提权exp
    Cobait Strike的socks与ew代理使用
  • 原文地址:https://www.cnblogs.com/smartsmile/p/14416037.html
Copyright © 2011-2022 走看看