zoukankan      html  css  js  c++  java
  • sql 查询效率

    1. SQL优化的原则是:将一次操作需要读取的BLOCK数减到最低,即在最短的时间达到最大的数据吞吐量。
    调整不良SQL通常可以从以下几点切入:
    检查不良的SQL,考虑其写法是否还有可优化内容
    检查子查询 考虑SQL子查询是否可以用简单连接的方式进行重新书写
    检查优化索引的使用
    考虑数据库的优化器

    2. 避免出现SELECT * FROM table 语句,要明确查出的字段。

    注:这里有亲身体会,不用*而是具体到字段是一个很好的习惯,这样会大大增加程序的可读性,从而能够更加准确的进行语句效率分析,达到优化sql的目的。

    例子

    table1

    id name type amount

    1 test1 001 1000.00

    2 test2 001 1001.05

    3 test3 002 1003.45

    4 test4 002 1005.00

    如果此表被左联,需要关联其中的type 如果 left join table1 on type = mastertable.xxxtype的话,貌似是最快的应该,

    可如果table1的数据量达到千亿级,那语句就会很慢。这个时候就要想办法减少子查询的数据量。

    开发人员是这样写的 left join (select * from table1 where date = date'xxxx-xx-xx') a on a.type = mastertable.xxxtype,

    可即使这样,数据量还在百万级,于是根据需求,我们应写成 left join (select type from table1 where date=date'xxxx-xx-xx' group by type) a on a.type = mastertable.xxxtype

    这样做,就可以把子查询数据量降低2~3个数量级,甚至更少。一切的前提在于,如果我们平时写sql经常写select *,那么关键时刻我们去分析语句的话,可能就会分析的稍微慢,

    如果不是一个熟练工,采用逐条语句分析时,可能会因为此子查询数据量大,默许了他的低效率。所以在平时写sql时不要忽略这些细节。


    3. 在一个SQL语句中,如果一个where条件过滤的数据库记录越多,定位越准确,则MYSQL时该where条件越应该左移,ORACLE时右移。

    4. 查询时尽可能使用索引覆盖。即对SELECT的字段建立复合索引,这样查询时只进行索引扫描,不读取数据块。

    5. 在判断有无符合条件的记录时建议不要用SELECT COUNT (*)和select top 1 语句。

    6. 使用内层限定原则,在拼写SQL语句时,将查询条件分解、分类,并尽量在SQL语句的最里层进行限定,以减少数据的处理量。

    7. 应绝对避免在order by子句中使用表达式。

    8. 如果需要从关联表读数据,关联的表一般不要超过7个。

    9. 小心使用 IN 和 OR,需要注意In集合中的数据量。建议集合中的数据不超过200个。

    10. <> 用 < 、 > 代替,>用>=代替,<用<=代替,这样可以有效的利用索引。

    11. 在查询时尽量减少对多余数据的读取包括多余的列与多余的行。

    12. 对于复合索引要注意,例如在建立复合索引时列的顺序是F1,F2,F3,则在where或order by子句中这些字段出现的顺序要与建立索引时的字段顺序一致,且必须包含第一列。只能是F1或F1,F2或F1,F2,F3。否则不会用到该索引。

    13. 多表关联查询时,写法必须遵循以下原则,这样做有利于建立索引,提高查询效率。格式如下select sum(table1.je) from table1 table1, table2 table2, table3 table3 where (table1的等值条件(=)) and (table1的非等值条件) and (table2与table1的关联条件) and (table2的等值条件) and (table2的非等值条件) and (table3与table2的关联条件) and (table3的等值条件) and (table3的非等值条件)。
    注:关于多表查询时from 后面表的出现顺序对效率的影响还有待研究。

    14. 子查询问题。对于能用连接方式或者视图方式实现的功能,不要用子查询。例如:select name from customer where customer_id in ( select customer_id from order where money>1000)。应该用如下语句代替:select name from customer inner join order on customer.customer_id=order.customer_id where order.money>100。

    15. 在WHERE 子句中,避免对列的四则运算,特别是where 条件的左边,严禁使用运算与函数对列进行处理。比如有些地方 substring 可以用like代替。

    16. 如果在语句中有not in(in)操作,应考虑用not exists(exists)来重写,最好的办法是使用外连接实现。

    17. 对一个业务过程的处理,应该使事物的开始与结束之间的时间间隔越短越好,原则上做到数据库的读操作在前面完成,数据库写操作在后面完成,避免交叉。

    18. 请小心不要对过多的列使用列函数和order by,group by等,谨慎使用disti软件开发t。

    19. 用union all 代替 union,数据库执行union操作,首先先分别执行union两端的查询,将其放在临时表中,然后在对其进行排序,过滤重复的记录。
    当已知的业务逻辑决定query A和query B中不会有重复记录时,应该用union all代替union,以提高查询效率。

    数据更新的效率
    1. 在一个事物中,对同一个表的多个insert语句应该集中在一起执行。
    2. 在一个业务过程中,尽量的使insert,update,delete语句在业务结束前执行,以减少死锁的可能性。

    数据库物理规划的效率

    为了避免I/O的冲突,我们在设计数据库物理规划时应该遵循几条基本的原则(以ORACLE举例):
    table和index分离:table和index应该分别放在不同的tablespace中。

    Rollback Segment的分离:Rollback Segment应该放在独立的Tablespace中。

    System Tablespace的分离:System Tablespace中不允许放置任何用户的object。(mssql中primary filegroup中不允许放置任何用户的object)

    Temp Tablesace的分离:建立单独的Temp Tablespace,并为每个user指定default Temp Tablespace

    避免碎片:但segment中出现大量的碎片时,会导致读数据时需要访问的block数量的增加。对经常发生DML操作的segemeng来说,碎片是不能完全避免的。所以,我们应该将经常做DML操作的表和很少发生变化的表分离在不同的Tablespace中。

    当我们遵循了以上原则后,仍然发现有I/O冲突存在,我们可以用数据分离的方法来解决。
    连接Table的分离:在实际应用中经常做连接查询的Table,可以将其分离在不同的Taclespace中,以减少I/O冲突。

    使用分区:对数据量很大的Table和Index使用分区,放在不同的Tablespace中。

    在实际的物理存储中,建议使用RAID。日志文件应放在单独的磁盘中。

  • 相关阅读:
    USACO 5.5 Twofive
    USACO 5.4 Telecowmunication
    USACO 5.4 Character Recognition
    BZOJ 1001: [BeiJing2006]狼抓兔子
    USACO 5.4 Canada Tour
    USACO 5.3 Big Barn
    USACO 5.3 Network of Schools
    USACO 5.3 Window Area
    2017辽宁冬令营-4.蚂蚁
    2017辽宁冬令营-3.斐波那契
  • 原文地址:https://www.cnblogs.com/niutouzdq/p/4872296.html
Copyright © 2011-2022 走看看