zoukankan      html  css  js  c++  java
  • 【死磕 Java 基础】— 我同事一个 select 分页语句查出来了 3000W 条数据

    某天我正在工位上听着 Vicotry,愉快地敲着 hello world ,这感觉就像我写的代码能征服世界。突然运维给我打了一个电话,说我们某台服务器 OOM 了,要我过去看下,这感觉就像 xxx,你懂的。

    去运维室、登录服务器、查看日志、....一顿操作猛如虎,看到一个 List 对象 600MB +(原谅我们服务器 low,运维比较小气,就给 1C2G 的服务器),检查当时的 SQL 语句,一看,我的乖乖,将近 4000w + 条数据。我的第一感觉就是,难道又是哪个业务在导出大批量数据?但是我们所有的 Excel 导出数据都做了校验,数据量大于 5w 条就后台分批次导出(所以有时候你要庆幸服务器 low,因为服务器 low,你就需要进行各种各样的优化,所有大数据量的操作都需要想办法优化,所以我们这个应用就有了各种有意思的骚操作,后面有机会分享下)。难道没有控制住?看了日志并没有发现大数据量的 Excel 导出,所以可以断定是分页的地方没有分页。看代码在一个 if 语句里面找到了坑,如下:

    PageHelper.startPage(queryDTO.getPage(), queryDTO.getLimit());
    
    Page<UserDTO> page;
    if (isWitchFlag()) {
        page = userMapper.selectUserList(queryDTO);
    }
    

    isWitchFlag() :

        private boolean isWitchFlag() {
            String witchFlag = systemConfigMapper.selectSwitchFlag("key");
            return "1".equals(witchFlag);
        }
    

    对 PageHelper 不是很熟悉的人一定不知道这个坑在哪里!在 PageHelper 使用文档(https://pagehelper.github.io/faq/)中第一句就阐述了:

    只有紧跟在 PageHelper.startPage 方法后的第一个 Mybatis 的查询(Select)方法会被分页。。请注意关键词紧跟。为什么要紧跟呢?因为 PageHelper 的分页原理使用了 ThreadLocal,他的分页参数和线程是绑定在一起的,当我们执行 PageHelper.startPage() 语句时,他会将分页参数绑定到 ThreadLocal 中:

    setLocalPage()

    在拦截器 PageInterceptor 中,最后的 finally 会将 Page 分页信息给 remove 掉:

    所以,上面那段代码的分页信息被 if 语句中的 select 查询语句给消耗掉了,下面真正需要分页的语句当然就不会执行分页信息啦。怎么解决?两种方案:

    • 治标不治本:将 PageHelper.startPage() 挪到 if 语句里面,让真正的查询语句紧挨着它。这种方案不治本的原因在于,如果又有小伙伴不知道这个坑,有可能又会踩。
    • 治标治本:使用 Function Lamdba 表达式。

    使用 Function Lamdba 来将 PageHelper.startPage() 与分页查询语句紧挨在一起,规避掉这个坑

    首先我们需要定义一个 PageHelperTool,该 PageHelperTool 是封装了分页语句:

    @Builder
    public class PageHelperTool<P,R> {
        private final Function<P, Page<R>> pageFunction;
    
        public Page<R> getPageInfo(P request) {
            PageHelper.startPage(((PageRequest)request).getPage(),((PageRequest)request).getLimit());
            return pageFunction.apply(request);
        }
    }
    

    然后将分页的地方全部替换为 PageHelperTool 就可以了:

            Page<UserDTO> page;
            if (isWitchFlag()) {
                PageHelperTool<QueryDTO,UserDTO> pageHelperTool = PageHelperTool.<QueryDTO,UserDTO>builder()
                                                                .pageFunction(userMapper::selectUserList)
                                                                .build();
                
                page = pageHelperTool.getPageInfo(queryDTO);
            }
    

    这样就可以彻底解决因误用 PageHelper 导致分页失效的问题了。

    最后一句话:注意看文档啊!!!!!!

    PS:如果你觉得文章对你有所帮助,别忘了推荐或者分享,因为有你的支持,才是我续写下篇的动力和源泉!
  • 相关阅读:
    VB.NET中对象的克隆 利用了内存流内象和序列化
    关于对象组件编写的一点想法
    虽然有人说什么和平第一, 经济第一, 可是我怎么能不因为愤怒而发抖?
    用C# 调用MS speech引擎, 让电脑读文本, 或是存到WAV文件里去.
    抽空看了一下 dockpanel suite, 知道如何用了, 立此存照
    dn081A
    如何列出某类型的所有成员
    上周买了毛爷爷传
    【转载】MySQL双主双从高可用集群架构
    【转载】MySQL和Keepalived高可用双主复制
  • 原文地址:https://www.cnblogs.com/chenssy/p/15171314.html
Copyright © 2011-2022 走看看