zoukankan      html  css  js  c++  java
  • 大数据下Limit使用(MySQL)

     对于一直用Oracle的我,今天可是非常诧异,MySQL中同一个函数在不同数量级上的性能居然差距如此之大。

      先看表ibmng(id,title,info)  唯一  id key 索引title

      先看看两条语句:

      select * from ibmng limit 1000000,10

      select * from ibmng limit 10,10

      很多人都会认为不会有多大差别,但是他们都错了,差别太大了,(可能机器不同有点差距,但绝对10倍以上)具体执行时间留给好奇的同学。

      这是为什么呢,都是offset的错!

      优化的话你可以想方法减小offset,如以下:

      Select * From ibmng Where id >=(     Select id From ibmng Order By id limit 1000000,1   ) limit 10

      大家一定会看到问题, limit 1000000,1 同样offset不是一样大吗,肯定不能优化。(但是,又错了,执行之后才知道结果!)

      原因是id是索引,所有快,那么如下sql呢:

      select id from ibmng where title='mysql' order by id limit 1000000,10; 

      这条sql大家又会猜错,同样慢的跟蜗牛一样。(在此大家都会想title加了索引啊怎么会这样!)

      接下来大家再执行一条sql如下:

      select id from ibmng where title='mysql' limit 1000000,10; 

      执行之后你会发现速度是sousou的快!

      原因看出来了吧,都是用了索引的原因,如果你要用select id from ibmng where title='mysql' order by id limit 1000000,10; 那么就追加复合索引(title,id )吧!

      注意:接下来与limit无关!

      最后回到我现在的场景,如果千万级别的数据分批次读取统计的话,不要使用limit最好,用主键范围判断最佳!(eg:id<=1001000 and id>=1000001)

  • 相关阅读:
    Android:JNI之Java和C层的相互调用及多线程的回调实现
    高通sdm845_la2.0源码编译及使用QFIL刷机
    git常用指令
    Bouml快速使用指南
    Linux内核数据结构之kfifo详解
    输入系统:进程间双向通信(socketpair+binder)
    Android : 跟我学Binder --- (6) JAVA实现
    【LeetCode】167. Two Sum II
    【LeetCode】1. Two Sum
    【LeetCode】206. Reverse Linked List
  • 原文地址:https://www.cnblogs.com/thanksmoons/p/3875901.html
Copyright © 2011-2022 走看看