MSSQL批量写入数据方案

近来有一个项目Feature需要有批量写入数据的场景，正巧整理资料发现自己以前也类似实现的项目，在重构的同时把相关资料做了一个简单的梳理，方便大家参考。

1. 循环写入（简单粗暴，毕业设计就这样干的）（不推荐）
2. Bulk Copy写入（>1000K 记录一次性写入推荐）
3. 表值参数方式写入（mssql 2008新特性）（强烈推荐）

     在SQL Server 2008未提供表值参数之前，需要将多行数据传递到存储过程或参数化sql命令我们一般会采用以下几个方法：

1. 使用一系列单参数来表示多个数据列和行中的值。但使用这个方法会受所允许参数数量限制。Sql server 程序最多可以有2100个参数。服务器必须将这些参数进行再组织成临时表或表变量再进行后续处理。
2. 将多个数据增加分隔字符串或序列化为xml字符串，然后将这些字符回传服务器。服务器根据解析字符串与xml进行处理。
3. 将多条写入语句包装在一个单条语句当中。这种方式同sqldataadapter当中的update方法的实现逻辑，可以标识批次处理的个数。不过就算按照包装多个语句进行批次提交，每个语句仍然会分别在服务器上执行。（只是节约了请求的次数而已）
4. 使用BCP实用工具或SqlBulkCopy对象将很多行数据加载到表中。尽管这荐技术非常有效，但不支持服务器处理，除非将数据加载到临时表或表变量中。

方案一

作为早期学习时出镜率最高的的实现方法我在这里就不特别说明了，在这里直接上码及测试数据：

public static void NormalInsertDate(DataTable dt)
        {
            using (var sqlConn = new SqlConnection(_testDataConnectionString))
            {
                var sql = "INSERT INTO Student(Name,Age) VALUES(@Name,@Age)";
                using (var cmd = new SqlCommand(sql, sqlConn))
                {
                    sqlConn.Open();
                    cmd.Parameters.Add("@Name", SqlDbType.NVarChar, 50);
                    cmd.Parameters.Add("@Age", SqlDbType.Int);
                    for (int i = 0; i < dt.Rows.Count; i++)
                    {
                        cmd.Parameters["@Name"].Value = dt.Rows[i]["Name"];
                        cmd.Parameters["@Age"].Value = dt.Rows[i]["Age"];
                        cmd.ExecuteNonQuery();
                    }

                }
            }
        }

   

图一为每次10k条，写10次共计100k条数据总计15329ms

图二为每次100k条，写10次共计1000k条数据总计184395ms

方案二

作为早期批量写入的救星，批量写入的出镜指数4颗星。以下为测试数据：

        public static void BulkInsertData(DataTable dt)
        {
            using (var sqlConn = new SqlConnection(_testDataConnectionString))
            {
                using (var bulkCopy = new SqlBulkCopy(sqlConn)
                {
                    DestinationTableName = "Student",
                    BatchSize = dt.Rows.Count
                })
                {
                    sqlConn.Open();
                    bulkCopy.WriteToServer(dt);
                }
            }
        }

   

图一为每次10k条，写10次共计100k条数据总计1848ms

图二为每次100k条，写10次共计1000k条数据总计21584ms

方案三表值参数方式写入

表值参数提供一种将客户端应用程序中的多行数据封送到 SQL Server 的简单方式，而不需要多次往返或特殊服务器端逻辑来处理数据。您可以使用表值参数来包装客户端应用程序中的数据行，并使用单个参数化命令将数据发送到服务器。传入的数据行存储在一个表变量中，然后您可以通过使用 Transact-SQL 对该表变量进行操作。

可以使用标准的 Transact-SQL SELECT 语句来访问表值参数中的列值。表值参数为强类型，其结构会自动进行验证。表值参数的大小仅受服务器内存的限制。

注意：表值参数只能是输入参数，不能作为输出参数。

以下为相关实现：

1.创建表值参数类型(UDT)

USE Test
--CREATE TABLE 
CREATE TABLE Student
(
Id INT IDENTITY(1,1) PRIMARY KEY,
Name NVARCHAR(50),
Age INT
)
--create table parameter type
CREATE TYPE StudentUDT AS TABLE
(
Name NVARCHAR(50),
Age INT
)

public static void TableParameterInsertData(DataTable dt)
{
    using (var sqlConn = new SqlConnection(_testDataConnectionString))
    {
        var sql = "INSERT INTO Student(Name,Age) SELECT Name, Age FROM @StudentTVPS";//在这里直接访问表值参数
        using (var cmd = new SqlCommand(sql, sqlConn))
        {
            var catParam = cmd.Parameters.AddWithValue("@StudentTVPS", dt);
            catParam.SqlDbType = SqlDbType.Structured;
            catParam.TypeName = "StudentUDT";//我们自定义的表值参数类型名称
            sqlConn.Open();
            cmd.ExecuteNonQuery();
        }
    }
}

   

图一为每次10k条，写10次共计100k条数据总计390ms

图二为每次100k条，写10次共计1000k条数据总计4451ms

最后我们再横向比较一下：

就我本机测试的情况来看，normal=9*bulk=42*tvps

另外我就一次性大量数据写入对bulk和tvps单独进行了测试，一次性写入100K条数据两种方案基本持平490ms 

       

但在一次性写入1000K条数据时差距又再次被拉开,bulk=1.5tvps

就测试数据表明bulk在一次性大量写入依然有不小的优势，毕竟ms就是专门让他来做这个事情的。

然而也可以通过tvps进行分范围写入的方式，总消耗时间有小幅度改善。

所有呢，有大量数据一次性写入场景直接使用bulk copy方式吧。他当仁不让可以高效完成使命。

如果就一些普通业务批量场景无需考虑直接上TVPS方式。他的效率相对于较之前xml参数，复杂参数实现批量写入已经是数量级的提升。

你绝对值得拥有。

由于客户端硬件环境原因，测试环境应该不能非常精确。所以以上数据仅供参考。

欢迎大家一起分享交流。

附件本机测试硬件环境:i7 4770+128 ssd+8G内存；