zoukankan      html  css  js  c++  java
  • MySQL in和limit不能连用的问题

      今天在mysql上处理一个数据量达到千万级的数据库表时,要取出满足条件的数据集,然后存入到mongo数据库,使用JPA提供的Pageble去拿分页,再用多线程去取数据时,发现刚开始效率还可以,肯定比单线程强很多,但是这个Pageable有一个问题,在生成sql语句时,会自动加上一个limit *,10000,这样的限制条件,“*”代表从哪一行开始取数据,10000代表本次操作取10000条数据。这种操作会严重占用服务器的缓存,如果你在执行这种操作,别人也在访问时,会导致大家一起都卡得一比。

      解决方法就是用一个并发队列来存储每一页的最后一条数据的id,但是我遇到了一个问题:

          This version of MySQL doesn't yet support 'LIMIT & IN/ALL/ANY/SOME subquery

      limit不能和IN这样的只是范围的关键字直接连用,错误的sql和改进后的sql。

    //出错的sql
    select max(id) from news_info where id in (select id from news_info where where pub_date>?1 and id>?2 order by id limit 10000)
    
    //正确的sql
    select max(id) from news_info where id in (select id from (select id from news_info where pub_date>?1 and id>?2 order by id limit 10000) as news)
    

      既然不能直接连用,那就再中间创建一个临时表咯。

  • 相关阅读:
    HDU 2201 熊猫阿波问题==金刚坐飞机问题
    HDU 2100 (模拟进制加法)
    HDU 2151 Worm
    qsort快速排序
    HDU 1007 (最近点对+qsort对结构体的排序!!!)
    HDU 1348 wall (简单凸包)
    HDU 1392 Surround the Trees(凸包模板)
    HDU 1431素数回文
    HDU 2108 Shape of HDU(判断拐点)
    HDU 2857 Mirror and Light(镜面反射模板)
  • 原文地址:https://www.cnblogs.com/shirandedan/p/8012510.html
Copyright © 2011-2022 走看看