zoukankan      html  css  js  c++  java
  • JDBC批量插入数据优化,使用addBatch和executeBatch

    JDBC批量插入数据优化,使用addBatch和executeBatch

    SQL的批量插入的问题,如果来个for循环,执行上万次,肯定会很慢,那么,如何去优化呢?

    解决方案:用 preparedStatement.addBatch()配合preparedStatement.executeBatch()去批量插入; 效率要比一条一条插入快近60倍。

    代码:

        //获取要设置的Arp基准的List后,插入Arp基准表中    
        public boolean insertArpStandardList(List<ArpTable> list) {
            Connection conn = null;
            PreparedStatement ps = null;
            ResultSet rs = null;
            //MySql的JDBC连接的url中要加rewriteBatchedStatements参数,并保证5.1.13以上版本的驱动,才能实现高性能的批量插入。
            //优化插入性能,用JDBC的addBatch方法,但是注意在连接字符串加上面写的参数。
            //例如: String connectionUrl="jdbc:mysql://192.168.1.100:3306/test?rewriteBatchedStatements=true" ;
            String sql = "insert into arp_standard(guid, devicebrand, devicename, deviceip, ipaddress, " +
                         "macaddress, createtime) values(?,?,?,?,?,?,?)";
            try{
                conn = DBConnection.getConnection();
                ps = conn.prepareStatement(sql);
                //优化插入第一步设置手动提交  
                conn.setAutoCommit(false); 
                int len = list.size();
                for(int i=0; i<len; i++) {
                    ps.setString(1, list.get(i).getGuid());
                    ps.setString(2, list.get(i).getDeviceBrand());
                    ps.setString(3, list.get(i).getDeviceName());
                    ps.setString(4, list.get(i).getDeviceIp());
                    ps.setString(5, list.get(i).getIpAddress());
                    ps.setString(6, list.get(i).getMacAddress());
                    ps.setString(7, list.get(i).getCreateTime());
                    //if(ps.executeUpdate() != 1) r = false;    优化后,不用传统的插入方法了。
                    //优化插入第二步插入代码打包,等一定量后再一起插入。
                    ps.addBatch(); 
                    //if(ps.executeUpdate() != 1)result = false;
                    //每200次提交一次 
                    if((i!=0 && i%200==0) || i==len-1){//可以设置不同的大小;如50,100,200,500,1000等等  
                        ps.executeBatch();  
                        //优化插入第三步提交,批量插入数据库中。
                        conn.commit();  
                        ps.clearBatch();//提交后,Batch清空。
                    }
                }
            } catch (Exception e) {
                System.out.println("MibTaskPack->getArpInfoList() error:" + e.getMessage());
                return false;   //出错才报false
            } finally {
                DBConnection.closeConection(conn, ps, rs);
            }
            return true;
        }

     

  • 相关阅读:
    VMware 安装Windows Server 2008 R2
    Linux系统常用命令
    VMware安装CentOS 7和kali 2019.03
    Windows系统下常用命令
    javaFx 图书管理系统,采用 jfoenix-8.0.4 开源框架,使用 MaterialDesighn 风格
    华中大数据结构课程设计-------基于查找表的单词检索软件--------静态表、动态表、哈希表
    Java语言程序设计 :医院简易挂号管理系统 华科Java实验
    java 通过TCPUDP 协议实现多人聊天,点对点,文件传送-----分服务器端和客户端
    JAVA 通过 Socket 实现 TCP 编程
    app自动化测试python
  • 原文地址:https://www.cnblogs.com/lizm166/p/7890168.html
Copyright © 2011-2022 走看看