zoukankan      html  css  js  c++  java
  • MySQL in和limit不能连用的问题

      今天在mysql上处理一个数据量达到千万级的数据库表时,要取出满足条件的数据集,然后存入到mongo数据库,使用JPA提供的Pageble去拿分页,再用多线程去取数据时,发现刚开始效率还可以,肯定比单线程强很多,但是这个Pageable有一个问题,在生成sql语句时,会自动加上一个limit *,10000,这样的限制条件,“*”代表从哪一行开始取数据,10000代表本次操作取10000条数据。这种操作会严重占用服务器的缓存,如果你在执行这种操作,别人也在访问时,会导致大家一起都卡得一比。

      解决方法就是用一个并发队列来存储每一页的最后一条数据的id,但是我遇到了一个问题:

          This version of MySQL doesn't yet support 'LIMIT & IN/ALL/ANY/SOME subquery

      limit不能和IN这样的只是范围的关键字直接连用,错误的sql和改进后的sql。

    //出错的sql
    select max(id) from news_info where id in (select id from news_info where where pub_date>?1 and id>?2 order by id limit 10000)
    
    //正确的sql
    select max(id) from news_info where id in (select id from (select id from news_info where pub_date>?1 and id>?2 order by id limit 10000) as news)
    

      既然不能直接连用,那就再中间创建一个临时表咯。

  • 相关阅读:
    ZTUnity Profiler概述及Profiler window 说明
    利用反射球实现镜面效果
    (乱入)FingerGesture
    生成万花筒效果并截图
    (六)添加adb命令
    超时处理
    判断是否存在UI被触摸
    UI控件拖动失效
    (五)Unity插件生成
    (四)适配器Adapter
  • 原文地址:https://www.cnblogs.com/shirandedan/p/8012510.html
Copyright © 2011-2022 走看看