Mybatis提供了一般查询和流式查询模式,先说一下怎么配置
1、一般查询
2、流式查询
测试场景
mysql中循环插入100,000条数据
IDEA运行时堆内存设置为初始分配堆内存20m,最大堆内存30m。如下
先使用一般查询测试:
可以发现这里GC占用大量时间为了释放很小的空间,这是一种保护机制。由于堆内存太小,导致需要频繁的GC垃圾回收。官方给出的解释:超过98%的时间用来做GC并且回收了不到2%的堆内存时抛出的异常。
大概意思就是Mybatis一次性将所有的数据查出,放到当前JVM的堆内存中,堆内存不够用了
再来看看流式查询是什么结果
OK,程序运行正常,没有发生OOM。
可见大批量数据用流式查询确实能防止OOM的发生
但是,原理是什么呢?
可以看到Mapper文件中配置参数有一个
resultSetType="FORWARD_ONLY"
我们在访问数据库的时候,在读取返回结果的时候,可能要前后移动指针,比如我们先计算有多少条信息,这是我们就需要把指针移到最后来计算,然后再把指针移到最前面,逐条读取,有时我们只需要逐条读取就可以了。还有就是有只我们只需要读取数据,为了不破坏数据,我们可采用只读模式,有时我们需要望数据库里添加记录,这是我们就要采用可更新数据库的模式。
对于DB层,三种查询模式的参数如下所示
ResultSet.TYPE_FORWORD_ONLY 结果集的游标只能向下滚动。
ResultSet. TYPE_SCROLL_INSENSITIVE 结果集的游标可以上下移动,当数据库变化时,当前结果集不变。
ResultSet.TYPE_SCROLL_SENSITIVE 返回可滚动的结果集,当数据库变化时,当前结果集同步改变。