zoukankan      html  css  js  c++  java
  • 聊聊编程开发的数据库批量插入(sql)

    这里的批量插入,主要是支持SQL的大型存储数据库,本文以Mysql,Oracle,SqlServer,postgresql4类来说明,这大概是国内应用比较多的了。其余的应该可以按照这些去找。提到编程的话,主要是指c#.当然我不是dba,是程序员,所以说的是编程开发的手段而不是dba的手段。也希望大家留言比较。

    先说说我们常用的几种方法,我就不列举代码了。网上都有,大家可以自己试试。

    1.事务

      开启一个事务,将多条语句执行,然后提交。有的数据库限制sql个数1000.

    2.多值插入语法

    insert into table(字段) values(字段值),(字段值).

    这种语法也是一种批量插入,经过数据库(驱动)的优化.

    但是sqlserver是个特殊,它的语法是insert all

    insert all into table (字段) values(字段值)

     insert table  (字段) values(字段值)

     insert table  (字段) values(字段值)

    3.专门的批量处理类

       一般数据库都有一个批量类处理,我查看了几个例子,都是把datatable直接写入了。

    一般类名称中带有Bulk字样。也是优化过的

    4.文件导入

    很多数据库支持csv,就单独以csv格式文件为准吧。

    数据库提供有自己的办法,就当前说的几类数据库都有。

     oracle是特殊的,其它几种都是命令行,可以用执行SQL的方式执行。但是oracle是工具命令行,也就是专门的一个工具来支持(工具是sqlldr ),所以oracle需要完整的客户端支持,至少是包含sqlldr.exe的客户端。oracle使用编程操作时,需要用bat文件或者启动sqlldr.exe方式来操作。

       

    5.参数化

       直接SQL参数化,参数化时设置行数。参数值采用数组,但是每个字段的值素组长度必须一样,比如一次插入1000行,每个素组必须是1000长度。我知道oracle是支持的,其它数据库未知,所以要自己尝试,可能不通用。

    只给大家提供一个思路,就不一一说明了。至于这几种的处理速度,我就没有发言的了,我没有测试。希望大家留言给我答案。

    尤其是第5种方法,我长期使用oracle,其余几种没有,也不打算弄一堆数据库测试,靠大家努力吧。

    基于编程开发处理,上面不管哪种方法,都是在自己的数据库访问层或者ORM框架中,就不多说了。可以留言。

    如果还有其它批量处理的方式,或者大家对几种方式的速度有比较和测试,或者有其它数据库其它的处理方式,请留言,我们一起讨论研究下。

    附录转换处理类

    数据库 驱动 名称 说明
    oracle

    Oracle.DataAccess

    OracleBulkCopy

     
    mysql 默认 MySqlBulkLoader  
    postgresql 默认 没有直接的类。数据库连接类中有一个方法BeginBinaryImport 网上有一个扩展bulk
    sqlserver 默认 SqlBulkCopy  

    附录文件导入

    数据库 语句 驱动 说明
    oracle sqlldr dbuser/dbpass@dbservice control=users.ctl 默认  
    mysql LOAD DATA LOCAL INFILE '/var/lib/mysql/pet.txt' INTO TABLE tbl_pet 默认  
    postgresql COPY mytable FROM '/myfile.csv'  WITH CSV  HEADER 默认  
    sqlserver

    BULK

      INSERT Employee

      FROM 'F:\MyPublis\TestToInsert.txt' --location with filename

      WITH

      (

      FIELDTERMINATOR = ',',

      ROWTERMINATOR = ' '

      )

    默认  
  • 相关阅读:
    与HDFS交互- By java API编程
    与HDFS交互- By web界面
    与HDFS交互-By shell命令
    hadoop下HDFS基本命令使用
    ubuntu安装hadoop经验
    HTTP状态码了解
    软件需求与分析
    软件需求与分析
    软件需求与分析
    浪潮之巅
  • 原文地址:https://www.cnblogs.com/jinyu20180311/p/10503798.html
Copyright © 2011-2022 走看看