zoukankan      html  css  js  c++  java
  • Mybatis批量操作数据参考

    批量插入

    session = sessionFactory.openSession();//用于普通update
    session = sessionFactory.openSession(ExecutorType.BATCH, true);//用于批量update

    mapper映射

    <!-- 在外部for循环调用一千次 -->
    <insert id="insert" parameterType="sdc.mybatis.test.Student">
        insert into student (id, name, sex,
        address, telephone, t_id
        )
        values (#{id,jdbcType=INTEGER}, #{name,jdbcType=VARCHAR},
        #{sex,jdbcType=VARCHAR},
        #{address,jdbcType=VARCHAR}, #{telephone,jdbcType=VARCHAR}, #{tId,jdbcType=INTEGER}
        )
    </insert>
    <!--  批量 ,传入一个长度为1000的list  -->
    <insert id="insertBatch" >
        insert into student ( <include refid="Base_Column_List" /> ) 
        values 
        <foreach collection="list" item="item" index="index" separator=",">
            (null,#{item.name},#{item.sex},#{item.address},#{item.telephone},#{item.tId})
        </foreach>
    </insert>

    效果比较:

    背景描述:通常如果需要一次更新多条数据有两个方式,(1)在业务代码中循环遍历逐条更新。(2)一次性更新所有数据(更准确的说是一条sql语句来更新所有数据,逐条更新的操作放到数据库端,在业务代码端展现的就是一次性更新所有数据)。两种方式各有利弊,下面将会对两种方式的利弊做简要分析,主要介绍第二种方式在mybatis中的实现。

     逐条更新

     这种方式显然是最简单,也最不容易出错的,即便出错也只是影响到当条出错的数据,而且可以对每条数据都比较可控,更新失败或成功,从什么内容更新到什么内容,都可以在逻辑代码中获取。代码可能像下面这个样子:

    updateBatch(List<MyData> datas){
        for(MyData data : datas){
            try{
                myDataDao.update(data);//更新一条数据,mybatis中如下面的xml文件的update
            }
            catch(Exception e){
                ...//如果更新失败可以做一些其他的操作,比如说打印出错日志等
            }
        }
    }
    
    //mybatis中update操作的实现
    <update>
        update mydata
        set   ...
        where ...
    </update>

    这种方式最大的问题就是效率问题,逐条更新,每次都会连接数据库,然后更新,再释放连接资源(虽然通过连接池可以将频繁连接数据的效率大大提高,抗不住数据量大),这中损耗在数据量较大的时候便会体现出效率问题。这也是在满足业务需求的时候,通常会使用上述提到的第二种批量更新的实现(当然这种方式也有数据规模的限制,后面会提到)。

    sql批量更新 

    一条sql语句来批量更新所有数据,下面直接看一下在mybatis中通常是怎么写的(去掉mybatis语法就是原生的sql语句了,所有就没单独说sql是怎么写的)。

    <update id="updateBatch" parameterType="java.util.List">
        update mydata_table 
        set  status=
        <foreach collection="list" item="item" index="index" 
            separator=" " open="case ID" close="end">
            when #{item.id} then #{item.status}
        </foreach>
        where id in
        <foreach collection="list" index="index" item="item" 
            separator="," open="(" close=")">
            #{item.id,jdbcType=BIGINT}
        </foreach>
     </update>

    其中when...then...sql中的"switch" 语法。这里借助mybatis<foreach>语法来拼凑成了批量更新的sql,上面的意思就是批量更新idupdateBatch参数所传递List中的数据的status字段。还可以使用<trim>实现同样的功能,代码如下:

    <update id="updateBatch" parameterType="java.util.List">
            update mydata_table
            <trim prefix="set" suffixOverrides=",">
                <trim prefix="status =case" suffix="end,">
                    <foreach collection="list" item="item" index="index">
                         when id=#{item.id} then #{item.status}
                    </foreach>
                </trim>
            </trim>
            where id in
            <foreach collection="list" index="index" item="item" separator="," open="(" close=")">
                #{item.id,jdbcType=BIGINT}
            </foreach>
        </update>

    <trim>属性说明 
    1.prefix,suffix 表示在trim标签包裹的部分的前面或者后面添加内容 
    2.如果同时有prefixOverrides,suffixOverrides 表示会用prefix,suffix覆盖Overrides中的内容。 
    3.如果只有prefixOverrides,suffixOverrides 表示删除开头的或结尾的xxxOverides指定的内容。

    上述代码转化成sql如下:

        update mydata_table 
        set status = 
        case
            when id = #{item.id} then #{item.status}//此处应该是<foreach>展开值
            ...
        end
        where id in (...);

    当然这是最简单的批量更新实现,有时候可能需要更新多个字段,那就需要将

    <trim prefix="status =case" suffix="end,">
         <foreach collection="list" item="item" index="index">
              when id=#{item.id} then #{item.status}
         </foreach>
    </trim>

    复制拷贝多次,更改prefixwhen...then...的内容即可.而如果当需要为某个字段设置默认值的时候可以使用else

    <trim prefix="status =case" suffix="end,">
         <foreach collection="list" item="item" index="index">
              when id=#{item.id} then #{item.status}
         </foreach>
         else default_value
    </trim>

    还有更常见的情况就是需要对要更新的数据进行判断,只有符合条件的数据才能进行更新,这种情况可以这么做:

    <trim prefix="status =case" suffix="end,">
         <foreach collection="list" item="item" index="index">
             <if test="item.status !=null and item.status != -1">
                 when id=#{item.id} then #{item.status}
             </if>
         </foreach>
    </trim>

    这样的话只有要更新的liststatus != null && status != -1的数据才能进行status更新.其他的将使用默认值更新,而.如果要保持原数据不变呢?即满足条件的更新,不满足条件的保持原数据不变,简单的来做就是再加一个<if>,因为mybatis中没有if...else...语法,但可以通过多个<if>实现同样的效果,如下:

    <trim prefix="status =case" suffix="end,">
         <foreach collection="list" item="item" index="index">
             <if test="item.status !=null and item.status != -1">
                 when id=#{item.id} then #{item.status}
             </if>
             <if test="item.status == null or item.status == -1">
                 when id=#{item.id} then mydata_table.status      //这里就是原数据
             </if>
         </foreach>
    </trim>

    整体批量更新的写法如下:

    <update id="updateBatch" parameterType="java.util.List">
            update mydata_table
            <trim prefix="set" suffixOverrides=",">
                <trim prefix="status =case" suffix="end,">
                     <foreach collection="list" item="item" index="index">
                         <if test="item.status !=null and item.status != -1">
                             when id=#{item.id} then #{item.status}
                         </if>
                         <if test="item.status == null or item.status == -1">
                             when id=#{item.id} then mydata_table.status//原数据
                         </if>
                     </foreach>
                </trim>
            </trim>
            where id in
            <foreach collection="list" index="index" item="item" separator="," open="(" close=")">
                #{item.id,jdbcType=BIGINT}
            </foreach>
        </update>

    这种批量跟心数据库的方式可以在一次数据库连接中更新所有数据,避免了频繁数据库建立和断开连接的开销,可以很大程度的提高数据更新效率。但是这样的问题是如果这个过程中更新出错,将很难知道具体是哪个数据出错,如果使用数据自身的事务保证,那么一旦出错,所有的更新将自动回滚。而且通常这种方式也更容易出错。因此通常的使用的方案是进行折中,也就是一次批量更新一部分(分页进行更新,比如说一共有1000条数据,一次更新100条)。这样可以分担出错的概率,也更容易定位到出错的位置。 
     当然如果数据量确实很大的时候,这种批量更新也一样会导致更新效率低下(比如说一次更新100条,那如果10亿条数据呢,一样要批量更新1000万次,建立和断开1000万次数据库,这个效率是无法承受的)。这时候也许只能考虑其他方案了,比如引入缓存机制等。

  • 相关阅读:
    Kylin 与 Spark SQL相比,有哪些差异和优势?
    apache kylin2.10在原生hadoop集群上安装
    ambari安装 QA
    mysql 5.7 学习
    Public key for ambari-server-2.4.2.0-136.x86_64.rpm is not installed 安装ambari报错总结
    python 练习
    centos 扩容
    Linux中Cache内存占用过高解决办法
    HyperLogLog
    星型模式、雪花模式和事实星座模式
  • 原文地址:https://www.cnblogs.com/yhongyin/p/9058179.html
Copyright © 2011-2022 走看看