zoukankan      html  css  js  c++  java
  • mybatis使用流式查询避免查询大批量数据导致OOM内存溢出

    Mybatis提供了一般查询和流式查询模式,先说一下怎么配置

    1、一般查询

    2、流式查询

     测试场景

    mysql中循环插入100,000条数据

    IDEA运行时堆内存设置为初始分配堆内存20m,最大堆内存30m。如下

    先使用一般查询测试:

    可以发现这里GC占用大量时间为了释放很小的空间,这是一种保护机制。由于堆内存太小,导致需要频繁的GC垃圾回收。官方给出的解释:超过98%的时间用来做GC并且回收了不到2%的堆内存时抛出的异常。

    大概意思就是Mybatis一次性将所有的数据查出,放到当前JVM的堆内存中,堆内存不够用了

    再来看看流式查询是什么结果

     OK,程序运行正常,没有发生OOM。

    可见大批量数据用流式查询确实能防止OOM的发生

    但是,原理是什么呢?

    可以看到Mapper文件中配置参数有一个

    resultSetType="FORWARD_ONLY"

    我们在访问数据库的时候,在读取返回结果的时候,可能要前后移动指针,比如我们先计算有多少条信息,这是我们就需要把指针移到最后来计算,然后再把指针移到最前面,逐条读取,有时我们只需要逐条读取就可以了。还有就是有只我们只需要读取数据,为了不破坏数据,我们可采用只读模式,有时我们需要望数据库里添加记录,这是我们就要采用可更新数据库的模式。

    对于DB层,三种查询模式的参数如下所示

    ResultSet.TYPE_FORWORD_ONLY 结果集的游标只能向下滚动。 

    ResultSet. TYPE_SCROLL_INSENSITIVE 结果集的游标可以上下移动,当数据库变化时,当前结果集不变。 

    ResultSet.TYPE_SCROLL_SENSITIVE 返回可滚动的结果集,当数据库变化时,当前结果集同步改变。

  • 相关阅读:
    浏览器缓存机制
    linux mail命令用法
    linux下Memcached安装以及PHP的调用
    JAVA和C# 3DES加密解密
    C++中函数调用时的三种参数传递方式详解

    const的用法,特别是用在函数前面与后面的区别!
    海底捞的“七宗罪”
    解决Qt5.7.0 cannot find -lGL
    怎么删除桌面右键"打开好桌道壁纸"
  • 原文地址:https://www.cnblogs.com/yibao/p/14158112.html
Copyright © 2011-2022 走看看