zoukankan      html  css  js  c++  java
  • c#中往mysql里批量插入上万条数据 zt 武胜

    在csdn询问,http://bbs.csdn.net/topics/390357952?page=1#post-393577221,综合采纳了各位大侠的意见,反正最后我在本机上插入1--5万条数据的时候,好像没感觉到占用什么时间。

    我使用了mysql的批量数据格式,

    比如
    INSERT INTO TABLES (LABLE1,LABLE2,LABLE3,...) 
    VALUES(NUM11,NUM12,NUM13,...), 
    (NUM21,NUM22,NUM23,...),
    ....
    (NUMn1,NUMn2,NUMn3,..);


    我在前文中叙述的,每个账户的每个采集点就会生成几百个数据,这几百个数据我组合成上述一条语句,20多个账户多个采集点我一共生成上述语句300--800多条,每条的数据项300-500个,所以每次插入的数据共计10000--50000条。

    我把每条insert语句都保存在一个SQLStringList之中,又 在网上找点资料,采用了事务处理方式,本来我的事务方式是所有sql语句放在一个事务里,但有热心朋友告知“每当执行1000条DBCommand就提交 (Commit)事务,然后再次开启事务,这样比较好。把过多的命令放在一个事务中,一旦超过物理内存分配限制,你的程序会变得很慢很慢。”

    所以我后来修改了一下,每500条语句重启一次事务。c#代码如下:


      1. /// <summary>  
      2.         /// 执行多条SQL语句,实现数据库事务。  
      3.         /// </summary>mysql数据库  
      4.         /// <param name="SQLStringList">多条SQL语句</param>  
      5.         public static void ExecuteSqlTran(List<string> SQLStringList)  
      6.         {  
      7.             using (MySqlConnection conn = new MySqlConnection(MySqlHelper.ConnStr))  
      8.             {  
      9.                 conn.Open();  
      10.                 MySqlCommand cmd = new MySqlCommand();  
      11.                 cmd.Connection = conn;  
      12.                 MySqlTransaction tx = conn.BeginTransaction();  
      13.                 cmd.Transaction = tx;  
      14.                 try  
      15.                 {  
      16.                     for (int n = 0; n < SQLStringList.Count; n++)  
      17.                     {  
      18.                         string strsql = SQLStringList[n].ToString();  
      19.                         if (strsql.Trim().Length > 1)  
      20.                         {  
      21.                             cmd.CommandText = strsql;  
      22.                             cmd.ExecuteNonQuery();  
      23.                         }  
      24.                        //后来加上的  
      25.                        if (n > 0 && (n % 500 == 0 || n == SQLStringList.Count - 1))  
      26.                         {  
      27.                             tx.Commit();  
      28.                             tx = conn.BeginTransaction();  
      29.                         }  
      30.                     }  
      31.                     //tx.Commit();//原来一次性提交  
      32.                 }  
      33.                 catch (System.Data.SqlClient.SqlException E)  
      34.                 {  
      35.                     tx.Rollback();  
      36.                     throw new Exception(E.Message);  
      37.                 }  
      38.             }  
      39.         } 
  • 相关阅读:
    SharePoint无法搜索解决
    SharePoint自动登录问题
    SharePoint2013 中集成AD RMS 与Office Web App 2013集成
    SharePoint中使用Visio Service展示业务数据
    Office Web App2013 在线查看PDF文件
    在SharePoint中无代码开发InfoPath应用: 获取当前用户信息
    在SharePoint中无代码开发InfoPath应用: 一个测试Web Service的工具
    使用RDCMan管理SharePoint虚拟机的重复要求验证的问题
    SharePoint 2013开发环境准备一些小事项
    SharePoint部署工具SPSD
  • 原文地址:https://www.cnblogs.com/zeroone/p/2970464.html
Copyright © 2011-2022 走看看