zoukankan      html  css  js  c++  java
  • 大批量插入mysql行记录正确姿势

    首先按照网上经验,添加了如下db连接参数,dbUrl=xxx&rewriteBatchedStatements=true

    关于rewriteBatchedStatements这个参数介绍:

    MySQL的JDBC连接的url中要加rewriteBatchedStatements参数,并保证5.1.13以上版本的驱动,才能实现高性能的批量插入。
    MySQL JDBC驱动在默认情况下会无视executeBatch()语句,把我们期望批量执行的一组sql语句拆散,一条一条地发给MySQL数据库,批量插入实际上是单条插入,直接造成较低的性能。
    只有把rewriteBatchedStatements参数置为true, 驱动才会帮你批量执行SQL
    另外这个选项对INSERT/UPDATE/DELETE都有效

    接下来就是写代码,项目使用了mybatis-plus框架,有自动生成的batchInsert方法,但是测了一下效果不理想,看了看源码其实还是for循环一条条执行的
    没办法,只能自己在mapper里写动态sql,使用foreach标签实现批量插入

     <insert id="batchInsertUserId">
            INSERT INTO maxx_olduser_sync
            (user_id,sync_mark)
            VALUES
            <foreach collection ="userList" item="user" separator =",">
                ( #{user.userId}, #{user.syncMark})
            </foreach >
        </insert>
    

    采用500条一次批量插入的方法

     if(cnt%500==0||cnt==uids.size()){
                    syncMapper.batchInsertUserId(userList);
    }
    

    最终结果:插入 1141168条行记录
    程序运行时间:268086ms

  • 相关阅读:
    跳转指定页面
    如何解决项目中.a文件中的.o冲突
    地图根据起点和终点计算中心点角度来绘制弧线 iOS
    codePush常用
    ios原生push到RN界面后pop
    atomic,nonatomic的区别
    KVC
    jQuery绑定event事件的各种方法比较
    Git常用命令总结
    多个$(document).ready()的执行顺序问题
  • 原文地址:https://www.cnblogs.com/CodeSpike/p/15344060.html
Copyright © 2011-2022 走看看