zoukankan      html  css  js  c++  java
  • MySQL写出高效SQL

    mysql设计标准
    事务处理标准
    索引使用标准
    约束设计
    sql语句标准

    怎么写出高效SQL
    清晰无误的了知业务需求
    满足业务需求,不做无用功
    知道表数据量和索引基本情况
    知道完成SQL需要扫描的数据量级
    SQL执行计划OK?SQL性能达到要求?
    调整索引和SQL,优化SQL

    IN子查询容易导致问题,禁止使用,需改成join
    选择正确的驱动表:关键的第一步
    错误使用Left Join
    left join的表在where中出现,如
    Table1 left join Table2 on Table1.C1=Table2.c1
    where Table2.column1=XXX
    实际上已经变成了inner join
    Leftjoin会限制join顺序,而且where条件只能在join后过滤,影响性能

    group by常见处理
    利用index实现group by,避免使用临时表
    group by是否必要?
    提升group by性能的一些方法
    --group by col1,col2 order by null/order by col1,col2
    order by常见处理
    利用索引来实现排序功能?
    排序字段是否在驱动表上?
    order by的几种优化方法
    --using index/using filesort(两次扫描/一次扫描(max_length_for_sort_data/query))
    set optimizer_trace='enabled=on';
    set @@global.show_compatibility_56=ON;#5.7`performance_schema`.session_status
    select varable_value into @a from `performance_schema`.session_status where variable_name='Innodb_rows_read';
    #select city,name,age from t where city='chengdu' order by limit 1000;
    select * from zabbix.events order by eventid limit 10
    select * from information_schema.OPTIMIZER_TRACE;
    select varable_value into @b from `performance_schema`.session_status where variable_name='Innodb_rows_read';
    select @b-@a; #扫描的行数
    SET optimizer_trace="enabled=off";
    MySQL的排序优化
    应尽可能避免排序或者尽可能避免对大量数据进行排序。如果需要排序的数据量小于排序缓冲区,MySQL使用内存进行“快速排序”操作
    如果内存不够排序,那么MySQL会先将数据分块,对每个独立的块使用“快速排序”进行排序,并将各个块的排序结果存放在磁盘上,然后将各个排序的块进行合并,最后返回排序结果
    单次传输排序(新版),一次读取出所有需要的或SQL查询指定的列,然后根据排序列,排序,直接返回排序后的结果。顺序I/O,缺点:如果列多,额外占用空间
    在关联查询的时候如果需要排序,MySQL会分两种情况来处理这样的文件排序。如果ORDER BY子句的所有列都来自关联的第一个表

    那么MySQL在关联处理第一个表时就进行文件排序。如果是这样那么在MySQL的EXPLAIN结果中可以看到Extra字段会有Using filesort。
    除此之外的所有情况,MySQL都会将关联的结果存放在一个临时表中,然后在所有的关联都结束后,再进行文件排序。这种情况下Extra字段可以看到Using temporary;Using filesort。
    如果查询中有LIMIT的话,LIMIT也会在排序之后应用,所以即使需要返回较少的数据,临时表和需要排序的数据量仍然会非常大

    分页SQL优化
    分页SQL可能包含order by,group by和多表join等操作,可以利用前面的优化手段
    后台分页取数SQL可以用cursor替换,分批fetch;使用分页SQL多次取,性能差,数据一致性没保证

    并发设置
    并发不是越大越好,设置满足要求的最小并发数
    高并发时MySQL处理能力会因为锁竞争、上下文切换等问题而下降
    测出系统处理能力和并发数的曲线关系,知道系统性能拐点位置

    子查询分类
    Scalar Subquery
    在select子句中标量子查询只能返回一个值
    标量子查询可以分成depend和independ,independ子查询只需查询一次,depeng子查询需外
    部查询返回的每条记录执行一次
    在where子句中的标量子查询
    = 和 in的区别
    使用row(...)函数进行多列比较的问题

    Nested Subquery
    在from子句中的子查询
    关联字段要有索引
    主要形式有:in,not in,exists,not exitsts
    标准版,转化成DEPENDENT SUBQUERY,即外部查询先执行,再执行子查询
    多个Nested Subquery子查询时,一般按在查询出现先后次序,后出现的先执行
    Mariadb版本可以转化成inline view,再join

    Inline View
    出现在from子句中的子查询
    考虑join次序,查询条件能否推进Inline View (merge)
    inline view作为驱动表?
    inline view产生临时表?
    inline view产生的临时表支持索引?

    STRAIGHT_JOIN」强制连接顺序

    -sql规范
    --禁用 select *,禁止dml,select语句缺少where
    --禁止任何对where字段的计算,函数等操作DATE_FORMAT(gmt_create,'%Y%m%d%H%i%s')='2018061522300'
    --jon的关联字段 数据类型一致,要有索引
    --group by,order by 最好都能选择驱动表的列或者只选择一个表上的列
    --不要使用 count(列名)或 count(常量)来替代 count(*)
    --使用 ISNULL()来判断是否为 NULL 值

    ----
    1、所有的InnoDB表都设计一个无业务用途的自增列做主键,对于绝大多数场景都是如此,真正纯只读用InnoDB表的并不多,真如此的话还不如用TokuDB来得划算;
    2、字段长度满足需求前提下,尽可能选择长度小的。此外,字段属性尽量都加上NOT NULL约束,可一定程度提高性能;
    3、尽可能不使用TEXT/BLOB类型,确实需要的话,建议拆分到子表中,不要和主表放在一起,避免SELECT * 的时候读性能太差。
    4、读取数据时,只选取所需要的列,不要每次都SELECT *,避免产生严重的随机读问题,尤其是读到一些TEXT/BLOB列;
    5、对一个VARCHAR(N)列创建索引时,通常取其50%(甚至更小)左右长度创建前缀索引就足以满足80%以上的查询需求了,没必要创建整列的全长度索引;
    6、通常情况下,子查询的性能比较差,建议改造成JOIN写法;
    7、多表联接查询时,关联字段类型尽量一致,并且都要有索引;
    8、多表连接查询时,把结果集小的表(注意,这里是指过滤后的结果集,不一定是全表数据量小的)作为驱动表;
    9、多表联接并且有排序时,排序字段必须是驱动表里的,否则排序列无法用到索引;
    10、多用复合索引,少用多个独立索引,尤其是一些基数(Cardinality)太小(比如说,该列的唯一值总数少于255)的列就不要创建独立索引了;
    11、类似分页功能的SQL,建议先用主键关联,然后返回结果集,效率会高很多;
    关于MySQL的管理维护的其他建议有:
    1、通常地,单表物理大小不超过10GB,单表行数不超过1亿条,行平均长度不超过8KB,如果机器性能足够,这些数据量MySQL是完全能处理的过来的,不用担心性能问题,这么建议主要是考虑ONLINE DDL的代价较高;
    2、不用太担心mysqld进程占用太多内存,只要不发生OOM kill和用到大量的SWAP都还好;
    3、在以往,单机上跑多实例的目的是能最大化利用计算资源,如果单实例已经能耗尽大部分计算资源的话,就没必要再跑多实例了;
    4、定期使用pt-duplicate-key-checker检查并删除重复的索引。定期使用pt-index-usage工具检查并删除使用频率很低的索引;
    5、定期采集slow query log,用pt-query-digest工具进行分析,可结合Anemometer系统进行slow query管理以便分析slow query并进行后续优化工作;
    6、可使用pt-kill杀掉超长时间的SQL请求,Percona版本中有个选项 innodb_kill_idle_transaction 也可实现该功能;
    7、使用pt-online-schema-change来完成大表的ONLINE DDL需求;
    8、定期使用pt-table-checksum、pt-table-sync来检查并修复mysql主从复制的数据差异;
    ----

  • 相关阅读:
    极客技术专题【008期】:CSS3核心技术:选择器
    10670 Work Reduction (贪心 + 被题意坑了- -)y
    hdu 4617 : Weapon
    [poj 2186]Popular Cows[Tarjan强连通分量]
    caldera
    linux内核书籍
    DedeCMS Error:Tag disabled:"php"的解决办法
    China特色创新现状
    麒麟OS剽窃
    国产系统
  • 原文地址:https://www.cnblogs.com/yhq1314/p/10266723.html
Copyright © 2011-2022 走看看