zoukankan      html  css  js  c++  java

  • 事务/索引与慢查询优化

    事务/索引与慢查询优化    >>>思维导图>>>中二青年

    视图

    什么是视图？
           视图就是通过查询得到一张虚拟表，然后保存下来，下次直接使用即可

    为什么要用视图？
           如果要频繁使用一张虚拟表，可以不用重复查询

    如何用视图
           create view teacher2course asselect * from teacher inner join course on teacher.tid = course.teacher_id;

    强调

    1、在硬盘中，视图只有表结构文件，没有表数据文件

    2、视图通常是用于查询，尽量不要修改视图中的数据
           drop view teacher2course;

    思考:开发过程中会不会去使用视图？
           不会！视图是mysql的功能，如果你的项目里面大量的使用到了视图，那意味着你后期想要扩张某个功能的时候这个功能恰巧又需要对视图进行修改，意味着你需要先在mysql这边将视图先修改一下，然后再去应用程序中修改对应的sql语句，这就涉及到跨部门沟通的问题，所以通常不会使用视图，而是通过重新修改sql语句来扩展功能

    触发器

    什么是触发器？
           在满足对某张表数据的增、删、改的情况下，自动触发的功能称之为触发器

    为何要用触发器？
           触发器专门针对我们对某一张表数据增insert、删delete、改update的行为，这类行为一旦执行 就会触发触发器的执行，即自动运行另外一段sql代码

    创建触发器语法

    # 针对插入
create trigger tri_after_insert_t1 after insert on 表名 for each row
begin
    sql代码。。。
end 
create trigger tri_after_insert_t2 before insert on 表名 for each row
begin
    sql代码。。。
end
# 针对删除
create trigger tri_after_delete_t1 after delete on 表名 for each row
begin
    sql代码。。。
end
create trigger tri_after_delete_t2 before delete on 表名 for each row
begin
    sql代码。。。
end
# 针对修改
create trigger tri_after_update_t1 after update on 表名 for each row
begin
    sql代码。。。
end
create trigger tri_after_update_t2 before update on 表名 for each row
begin
    sql代码。。。
end
# 案例
CREATE TABLE cmd (
    id INT PRIMARY KEY auto_increment,
    USER CHAR (32),
    priv CHAR (10),
    cmd CHAR (64),
    sub_time datetime,  # 提交时间
    success enum ('yes', 'no')  # 0代表执行失败
);
CREATE TABLE errlog (
    id INT PRIMARY KEY auto_increment,
    err_cmd CHAR (64),
    err_time datetime
);
delimiter $$  # 将mysql默认的结束符由;换成$$
create trigger tri_after_insert_cmd after insert on cmd for each row
begin
    if NEW.success = 'no' then  # 新记录都会被MySQL封装成NEW对象
        insert into errlog(err_cmd,err_time) values(NEW.cmd,NEW.sub_time);
    end if;
end $$
delimiter ;  # 结束之后记得再改回来，不然后面结束符就都是$$了
# 往表cmd中插入记录，触发触发器，根据IF的条件决定是否插入错误日志
INSERT INTO cmd (
    USER,
    priv,
    cmd,
    sub_time,
    success
)
VALUES
    ('egon','0755','ls -l /etc',NOW(),'yes'),
    ('egon','0755','cat /etc/passwd',NOW(),'no'),
    ('egon','0755','useradd xxx',NOW(),'no'),
    ('egon','0755','ps aux',NOW(),'yes');
# 查询errlog表记录
select * from errlog;
# 删除触发器
drop trigger tri_after_insert_cmd;
    View Code

    事务

    什么事务？
           开启一个事务可以包含一些sql语句，这些sql语句要么同时成功要么一个都别想成功，称之为事务的原子性

    事务的作用？
           保证了对数据操作的数据安全性案例:用交行的卡操作建行ATM机给工商的账户转钱

    事务具有4个属性，这四个属性通常称为ACID特性。

    原子性（atomicity）
           一个事务是一个不可分割的工作单位，事务中包括的诸操作要么都做，要么都不做。

    一致性（consistency）
           事务必须是使数据库从一个一致性状态变到另一个一致性状态。一致性与原子性是密切相关的。

    隔离性（isolation）
           一个事务的执行不能被其他事务干扰。即一个事务内部的操作及使用的数据对并发的其他事务是隔离的，并发执行的各个事务之间不能互相干扰。

    持久性（durability）
           持久性也称永久性（permanence），指一个事务一旦提交，它对数据库中数据的改变就应该是永久性的。接下来的其他操作或故障不应该对其有任何影响。

    如何用？

    create table user(
id int primary key auto_increment,
name char(32),
balance int
);
insert into user(name,balance)
values
('wsb',1000),
('egon',1000),
('ysb',1000);
# 修改数据之前先开启事务操作
start transaction;
# 修改操作
update user set balance=900 where name='wsb';  # 买支付100元
update user set balance=1010 where name='egon';  # 中介拿走10元
update user set balance=1090 where name='ysb';  # 卖家拿到90元
# 回滚到上一个状态
rollback;
# 开启事务之后，只要没有执行commit操作，数据其实都没有真正刷新到硬盘
commit;
"""开启事务检测操作是否完整，不完整主动回滚到上一个状态，如果完整就应该执行commit操作"""
# 站在python代码的角度，应该实现的伪代码逻辑，
try:
    update user set balance=900 where name='wsb';  # 买支付100元
    update user set balance=1010 where name='egon';  # 中介拿走10元
    update user set balance=1090 where name='ysb';  # 卖家拿到90元
except 异常:
    rollback;
else:
    commit;
# 那如何检测异常？

    存储过程

    存储过程包含了一系列可执行的sql语句，存储过程存放于MySQL中，通过调用它的名字可以执行其内部的一堆sql

    三种开发模型

    第一种
           """

           应用程序：只需要开发应用程序的逻辑mysql:编写好存储过程，以供应用程序调用

           优点：开发效率，执行效率都高

           缺点：考虑到人为因素、跨部门沟通等问题，会导致扩展性差

           """

    第二种
           """

           应用程序：除了开发应用程序的逻辑，还需要编写原生sql

           优点：比方式1，扩展性高(非技术性的)

           缺点：

                  1、开发效率，执行效率都不如方式1

                  2、编写原生sql太过于复杂，而且需要考虑到sql语句的优化问题

           """

    第三种
           """

           应用程序：开发应用程序的逻辑，不需要编写原生sql，基于别人编写好的框架来处理数据，ORM

           优点：不用再编写纯生sql，这意味着开发效率比方式2高，同时兼容方式2扩展性高的好处

           缺点：执行效率连方式2都比不过

           """

    创建存储过程

    delimiter $$
create procedure p1(
    in m int,  # in表示这个参数必须只能是传入不能被返回出去
    in n int,  
    out res int  # out表示这个参数可以被返回出去，还有一个inout表示即可以传入也可以被返回出去
)
begin
    select tname from teacher where tid > m and tid < n;
    set res=0;
end $$
delimiter ;

    如何用存储过程

    # 1、直接在mysql中调用
set @res=10  # res的值是用来判断存储过程是否被执行成功的依据，所以需要先定义一个变量@res存储10
call p1(2,4,10);  # 报错
call p1(2,4,@res);  
# 查看结果
select @res;  # 执行成功，@res变量值发生了变化
# 2、在python程序中调用
pymysql链接mysql
产生的游表cursor.callproc('p1',(2,4,10))  # 内部原理：@_p1_0=2,@_p1_1=4,@_p1_2=10;
cursor.excute('select @_p1_2;')
# 3、存储过程与事务使用举例(了解)
delimiter //
create PROCEDURE p5(
    OUT p_return_code tinyint
)
BEGIN
    DECLARE exit handler for sqlexception
    BEGIN
        -- ERROR
        set p_return_code = 1;
        rollback;
    END;
  DECLARE exit handler for sqlwarning
  BEGIN
      -- WARNING
      set p_return_code = 2;
      rollback;
  END;
  START TRANSACTION;
      update user set balance=900 where id =1;
      update user123 set balance=1010 where id = 2;
      update user set balance=1090 where id =3;
  COMMIT;
  -- SUCCESS
  set p_return_code = 0;  # 0代表执行成功
END //
delimiter ;

    内置函数

    注意与存储过程的区别，mysql内置的函数只能在sql语句中使用！

    CREATE TABLE blog (
    id INT PRIMARY KEY auto_increment,
    NAME CHAR (32),
    sub_time datetime
);
INSERT INTO blog (NAME, sub_time)
VALUES
    ('第1篇','2015-03-01 11:31:21'),
    ('第2篇','2015-03-11 16:31:21'),
    ('第3篇','2016-07-01 10:21:31'),
    ('第4篇','2016-07-22 09:23:21'),
    ('第5篇','2016-07-23 10:11:11'),
    ('第6篇','2016-07-25 11:21:31'),
    ('第7篇','2017-03-01 15:33:21'),
    ('第8篇','2017-03-01 17:32:21'),
    ('第9篇','2017-03-01 18:31:21');
select date_format(sub_time,'%Y-%m'),count(id) from blog group by date_format(sub_time,'%Y-%m');

    流程控制

    if条件语句

    # if条件语句
delimiter //
CREATE PROCEDURE proc_if ()
BEGIN
    
    declare i int default 0;
    if i = 1 THEN
        SELECT 1;
    ELSEIF i = 2 THEN
        SELECT 2;
    ELSE
        SELECT 7;
    END IF;
END //
delimiter ;

    while循环

    # while循环
delimiter //
CREATE PROCEDURE proc_while ()
BEGIN
    DECLARE num INT ;
    SET num = 0 ;
    WHILE num < 10 DO
        SELECT
            num ;
        SET num = num + 1 ;
    END WHILE ;
END //
delimiter ;

    索引与慢查询优化

    索引

    索引在MySQL中也叫做“键”，是存储引擎用于快速找到记录的一种数据结构。primary key
unique key
index key
注意foreign key不是用来加速查询用的，不在我们研究范围之内,上面三种key前两种除了有加速查询的效果之外还有额外的约束条件(primary key:非空且唯一，unique key:唯一)，而index key没有任何约束功能只会帮你加速查询
索引就是一种数据结构，类似于书的目录。意味着以后再查数据应该先找目录再找数据，而不是用翻页的方式查询数据
本质都是：通过不断地缩小想要获取数据的范围来筛选出最终想要的结果，同时把随机的事件变成顺序的事件，也就是说，有了这种索引机制，我们可以总是用同一种查找方式来锁定数据。
索引的影响:在表中有大量数据的前提下，创建索引速度会很慢
在索引创建完毕后，对表的查询性能会大幅度提升，但是写的性能会降低

    b+树

    只有叶子结点存放真实数据，根和树枝节点存的仅仅是虚拟数据 查询次数由树的层级决定，层级越低次数越少 一个磁盘块儿的大小是一定的，那也就意味着能存的数据量是一定的。如何保证树的层级最低呢？一个磁盘块儿存放占用空间比较小的数据项 思考我们应该给我们一张表里面的什么字段字段建立索引能够降低树的层级高度>>> 主键id字段

     聚集索引(primary key)

    聚集索引其实指的就是表的主键，innodb引擎规定一张表中必须要有主键。先来回顾一下存储引擎。

    myisam在建表的时候对应到硬盘有几个文件(三个)？

    innodb在建表的时候对应到硬盘有几个文件(两个)？

    frm文件只存放表结构，不可能放索引，也就意味着innodb的索引跟数据都放在idb表数据文件中。

    特点:叶子结点放的一条条完整的记录

    辅助索引(unique,index)
    辅助索引:查询数据的时候不可能都是用id作为筛选条件，也可能会用name，password等字段信息，那么这个时候就无法利用到聚集索引的加速查询效果。就需要给其他字段建立索引，这些索引就叫辅助索引

    特点：叶子结点存放的是辅助索引字段对应的那条记录的主键的值(比如:按照name字段创建索引，那么叶子节点存放的是:{name对应的值:name所在的那条记录的主键值})

    select name from user where name='jason';

    上述语句叫覆盖索引:只在辅助索引的叶子节点中就已经找到了所有我们想要的数据

    select age from user where name='jason';

    上述语句叫非覆盖索引,虽然查询的时候命中了索引字段name，但是要查的是age字段，所以还需要利用主键才去查找

    测试索引
    在没有索引的前提下测试查询速度很慢

    在表中已经存在大量数据的前提下，为某个字段段建立索引，建立速度会很慢

    在索引建立完毕后，以该字段为查询条件时，查询速度提升明显

    需要注意的是：innodb表的索引会存放于s1.ibd文件中，而myisam表的索引则会有单独的索引文件table1.MYIMySAM索引文件和数据文件是分离的，索引文件仅保存数据记录的地址。而在innodb中，表数据文件本身就是按照B+Tree（BTree即Balance True）组织的一个索引结构，这棵树的叶节点data域保存了完整的数据记录。这个索引的key是数据表的主键，因此innodb表数据文件本身就是主索引。因为inndob的数据文件要按照主键聚集，所以innodb要求表必须要有主键（Myisam可以没有），如果没有显式定义，则mysql系统会自动选择一个可以唯一标识数据记录的列作为主键，如果不存在这种列，则mysql会自动为innodb表生成一个隐含字段作为主键，这字段的长度为6个字节，类型为长整型.

    联合索引
    联合索引时指对表上的多个列合起来做一个索引。联合索引的创建方法与单个索引的创建方法一样，不同之处在仅在于有多个索引列

    从本质上来说，联合索引就是一棵B+树，不同的是联合索引的键值得数量不是1，而是>=2。

    联合索引的第二个好处是在第一个键相同的情况下，已经对第二个键进行了排序处理

    例如在很多情况下应用程序都需要查询某个用户的购物情况，并按照时间进行排序，最后取出最近三次的购买记录，这时使用联合索引可以帮我们避免多一次的排序操作，因为索引本身在叶子节点已经排序了

    覆盖索引
    InnoDB存储引擎支持覆盖索引（covering index，或称索引覆盖），即从辅助索引中就可以得到查询记录，而不需要查询聚集索引中的记录。

    使用覆盖索引的一个好处是：辅助索引不包含整行记录的所有信息，故其大小要远小于聚集索引，因此可以减少大量的IO操作 

    注意：覆盖索引技术最早是在InnoDB Plugin中完成并实现，这意味着对于InnoDB版本小于1.0的，或者MySQL数据库版本为5.0以下的，InnoDB存储引擎不支持覆盖索引特性

    查询优化神器-explain
    关于explain命令相信大家并不陌生，具体用法和字段含义可以参考官网explain-output，这里需要强调rows是核心指标，绝大部分rows小的语句执行一定很快（有例外，下面会讲到）。所以优化语句基本上都是在优化rows。

    执行计划：让mysql预估执行操作(一般正确)

            all < index < range < index_merge < ref_or_null < ref < eq_ref < system/const 

            id,email 

        慢： 

            select * from userinfo3 where name='alex' 

            explain select * from userinfo3 where name='alex' 

            type: ALL(全表扫描) 

                    select * from userinfo3 limit 1; 

        快： 

            select * from userinfo3 where email='alex' 

            type: const(走索引)

    慢查询优化的基本步骤
    0.先运行看看是否真的很慢，注意设置SQL_NO_CACHE

    1.where条件单表查，锁定最小返回记录表。这句话的意思是把查询语句的where都应用到表中返回的记录数最小的表开始查起，单表每个字段分别查询，看哪个字段的区分度最高

    2.explain查看执行计划，是否与1预期一致（从锁定记录较少的表开始查询）

    3.order by limit 形式的sql语句让排序的表优先查

    4.了解业务方使用场景

    5.加索引时参照建索引的几大原则

    6.观察结果，不符合预期继续从0分析

    END
  • 相关阅读:
    JAVA常用知识总结（十一）——数据库（一）
    JAVA常用知识总结（十）——Maven
    JAVA常用知识总结（九）——线程
    JAVA常用知识总结（八）——计算机网络
    JAVA常用知识总结（七）——Spring
    Spring Cloud Alibaba教程：Nacos
    OpenCV入门（2）- Java第一个程序
    OpenCV入门（1）- 简介
    Elastic Job入门（1）
    Elastic Job入门（3）
  • 原文地址：https://www.cnblogs.com/renvip/p/11400755.html
Copyright © 2011-2022 走看看