一次关于sql语句的测试

最近要完成一个从数据库里查询出很多结果的功能

一开始直接都select出来了

被说不大行 select这个操作时间太长了

然后换成了分批查分批插的方案

就涉及到了语句要怎么写

因为用了gorm框架 自带了一个id的主键

所以自然是要用id和step来select出相应结果

但是explain出语句的执行 发现rows很大

理想的状况下应该是和limit后面的数字一样

因为在只使用step限定的时候确实是这样

 然后我就开始怀疑这条语句的执行速度

在查了一会之后

我决定用两种不同的语句做对比

一种是用offset限制

SELECT * FROM `task_file_result`  WHERE (step = 5) LIMIT 100 OFFSET 100000;

一种是用where限制

SELECT * FROM `task_file_result`  WHERE (id > 100000 and step = 5) LIMIT 100;

两种语句都可以做到一样的效果

我先建了一个1000w的表

RDS.CreateTable(TaskFileResult{})
insertList := make([]interface{}, 0)
for i := 1; i <= 1000000; i++ {
  res := ""
  for j := 1; j <= 10; j++ {
	res += "x"
	insertList = append(insertList, TaskFileResult{
	  TaskID:     1,
	  TaskFileID: uint(i),
	  Step:       uint(j),
	})
  }
}

if err = run.Insert(RDS, insertList, 5000); err != nil {
  println(err)
}

然后补充语句

  offset := 100000
  limit := 100
  chooseStep := 5
  RDS.Table("task_file_result").Where("step = ?", chooseStep).Limit(limit).Offset(offset).Find(&resultList)
  RDS.Table("task_file_result").Where("id > ? and step = ?", offset, chooseStep).Limit(limit).Find(&resultList)

  offset = 500000
  RDS.Table("task_file_result").Where("step = ?", chooseStep).Limit(limit).Offset(offset).Find(&resultList)
  RDS.Table("task_file_result").Where("id > ? and step = ?", offset, chooseStep).Limit(limit).Find(&resultList)

  offset = 1000000
  RDS.Table("task_file_result").Where("step = ?", chooseStep).Limit(limit).Offset(offset).Find(&resultList)
  RDS.Table("task_file_result").Where("id > ? and step = ?", offset, chooseStep).Limit(limit).Find(&resultList)

 最后表示用where的结果更优

 看来扫了很多row也可能速度很快 可能这个row是因为用了两个字段才增加的