zoukankan      html  css  js  c++  java
  • 实战手记:让百万级数据瞬间导入SQL Server

    想必每个DBA都喜欢挑战数据导入时间,用时越短工作效率越高,也充分的能够证明自己的实力。实际工作中有时候需要把大量数据导入数据库,然后用于各种程序计算,本文将向大家推荐一个挑战4秒极限让百万级数据瞬间导入SQL Server实验案例。

    本实验将使用5中方法完成这个过程,并详细记录各种方法所耗费的时间。所用到工具为Visual Studio 2008和SQL Server 2000、SQL Server 2008,分别使用5中方法将100万条数据导入SQL Server 2000与SQL Server 2008中,实验环境是DELL 2850双2.0GCPU,2G内存的服务器。感兴趣的朋友可以下载源代码自己验证一下所用时间。

    好了,下面我们分别使用基本的Insert 语句、使用BULK INSERT语句、在多线程中使用BULK INSERT、使用SqlBulkCopy类、在多线程中使用SqlBulkCopy类五种方法,挑战4秒极限。还要有一点需要进行说明,本实验中执行SQL语句的地方使用了IsLine FrameWork框架中的DataProvider模块,这个模块只是对SQL配置的读取和封装,并不会对最终结果有本质性的影响,关于IsLine FrameWork框架方面的知识,请参考“IsLine FrameWork”框架系列文章。

    数据库方面使用SQL Server 2000与SQL Server 2008,表名TableB,字段名称为Value1,数据库名可以在App.config中修改,默认为test。

    方法一.使用基本的Insert 语句

    这种方法是最基本的方法,大多数人一开始都会想到这种方法。但是Insert语句似乎并不适合大批量的操作,是不是这样呢?

    本方法中将100万数据分为10个批次,每个批次10万条,每10万条1个事务,分10次导入数据库。

    -->基本语句:

    Insert Into TableB (Value1) values (‘”+i+”’); -- 说明:语句中的i是宿主程序中的一个累加变量,用于填充数据库字段中的值。

    SQL Server 2000 耗时:901599

    SQL Server 2008耗时:497638

    方法二.使用BULK INSERT语句

    这个类的效果,在本实验中可以说是最令人满意的了,它的使用最简便、灵活,速度很快。

    “BULK INSERT”语句似乎不是很常用, Aicken听说Oracle中有一种可以将外部文件映射为Oracle临时表,然后直接将临时表中的数据导入Oracle其他表中的方法,这种方法的速度非常令人满意,SQL SERVER的BULK INSERT是不是同样令人满意呢?

    --> 基本语句:

    BULK INSERT TableB FROM '
    
    c:\sql.txt' WITH (FIELDTERMINATOR = ',',ROWTER
    
    /.,mbMINATOR='|',BATCHSIZE = 100000)

    说明:“c:\sql.txt”是一个预先生成的包含100条数据的文件,这些数据以“|”符号分隔,每10万条数据一个事务。

    SQL Server 2000耗时:4009

    SQL Server 2008耗时:10722

    方法三.在多线程中使用BULK INSERT

    在方法二的基础上,将100万条数据分五个线程,每个线程负责20万条数据,每5万条一个事物,五个线程同时启动,看看这样的效果吧。

    SQL Server 2000耗时:21099

    SQL Server 2008耗时:10997

    使用SqlBulkCopy类

    这种方法速度也很快,但是要依赖内存,对于几千万条、多字段的复杂数据,可能在内存方面会有较大的消耗,不过可以使用64位解决方案处理这个问题。
    几千万条、多字段的数据的情况一般在一些业务场景中会遇到,比如计算全球消费者某个业务周期消费额时,要先获得主数据库表中的会员消费记录快照,并将快照储存至临时表中,然后供计算程序使用这些数据。并且有些时候消费者的消费数据并不在一台数据库服务器中,而是来自多个国家的多台服务器,这样我们就必须借助内存或外存设备中转这些数据,然后清洗、合并、检测,最后导入专用表供计算程序使用。
    基本语句:
    using (System.Data.SqlClient.SqlBulkCopy sqlBC = new System.Data.SqlClient.SqlBulkCopy(conn))
    {
        sqlBC.BatchSize = 100000; 
        sqlBC.BulkCopyTimeout= 60; 
        sqlBC.DestinationTableName = "dbo.TableB";
        sqlBC.ColumnMappings.Add("valueA", "Value1");
        sqlBC.WriteToServer(dt);
    }
    说明:
    BatchSize = 100000; 指示每10万条一个事务并提交
    BulkCopyTimeout = 60; 指示60秒按超时处理
    DestinationTableName = "dbo.TableB"; 指示将数据导入TableB表
    ColumnMappings.Add("valueA""Value1"); 指示将内存中valueA字段与TableB中的Value1字段匹配
    WriteToServer(dt);写入数据库。其中dt是预先构建好的DataTable,其中包含valueA字段。
     
    转载:https://www.chinaz.com/program/2010/0604/117829.shtml#jtss-qzone
    作者:chenze
    出处:https://www.cnblogs.com/chenze-Index/
    本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。
    如果文中有什么错误,欢迎指出。以免更多的人被误导。
  • 相关阅读:
    iptables
    vsftpd安装
    完整java开发中JDBC连接数据库代码和步骤
    java中使用队列:java.util.Queue
    程序中遇到重点问题
    在JSP页面中用select下拉列表来显示List列表的方式
    java.lang.String cannot be cast to [Ljava.lang.Object;
    java虚拟机的内存设置
    网络协议都有哪些
    使用java技术将Excel表格内容导入mysql数据库
  • 原文地址:https://www.cnblogs.com/chenze-Index/p/12908690.html
Copyright © 2011-2022 走看看