zoukankan      html  css  js  c++  java
  • 数据库相关内容 已看1 有用

    1.Mysql表的快速复制

    create table new_table select * from old_tablecreate table new_table like old_table insert new_table select * from old_table

    • 1

    这两种方法的特点:第一种方法需要手动添加主键、索引等。第二种方法是完全复制,推荐这种方法

    此外,如果想从另外表导入数据:

    Insert into table1(col1,col2,…) Select col1,  col2,… from table2

    • 1
    • 1

    2.分页优化

    分页在实际的项目中应用的十分广泛, 但是当数据量大时, 其效率问题令人担忧。先看下我们通常采用的分页语句:

    Select * from table where …. Order by X limit start, sizeSelect * from table where …. Order by X limit 10000, 10

    • 1
    • 2
    • 1
    • 2

    随着start的增大,查询的效率越差, 需要进一步优化。

    优化的方式主要有两种方式 1:子查询 2:连接查询

    Select * from (Select * from table where id>(select id from table order by id desc limit 10000, 1) limit 10) order by id desc

    SELECT * FROM table INNER JOIN ( SELECT id FROM table ORDER BY id DESC LIMIT 10000,10) t2 USING (id)

    1.SQL语句优化

    1.对查询进行优化,要尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。

    2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如:

    select id from t where num is null

    最好不要给数据库留NULL,尽可能的使用默认值填充数据库.

    备注、描述、评论之类的可以设置为 NULL,其他的,最好不要使用NULL。

    不要以为 NULL 不需要空间,比如:char(100) 型,在字段建立时,空间就固定了, 不管是否插入值(NULL也包含在内),都是占用 100个字符的空间的,如果是varchar这样的变长字段, null 不占用空间。

    可以在num上设置默认值0,确保表中num列没有null值,然后这样查询:

    select id from t where num = 0

    3.应尽量避免在 where 子句中使用 != 或 <> 操作符,否则将引擎放弃使用索引而进行全表扫描。

    4.应尽量避免在 where 子句中使用 or 来连接条件,如果一个字段有索引,一个字段没有索引,将导致引擎放弃使用索引而进行全表扫描,如:

    select id from t where num=10 or Name = 'admin'

    可以这样查询:

    select id from t where num = 10union allselect id from t where Name = 'admin'

    5.in 和 not in 也要慎用,否则会导致全表扫描,如:

    select id from t where num in(1,2,3)

    对于连续的数值,能用 between 就不要用 in 了:

    select id from t where num between 1 and 3

    很多时候用 exists 代替 in 是一个好的选择:

    select num from a where num in(select num from b)

    用下面的语句替换:

    select num from a where exists(select 1 from b where num=a.num)

    6.下面的查询也将导致全表扫描:

    select id from t where name like ‘%abc%’

    若要提高效率,可以考虑全文检索。

     

    9.应尽量避免在where子句中对字段进行函数操作,这将导致引擎放弃使用索引而进行全表扫描。如:

    select id from t where substring(name,1,3) = ’abc’       -–name以abc开头的idselect id from t where datediff(day,createdate,’2005-11-30′) = 0    -–‘2005-11-30’    --生成的id

    应改为:

    select id from t where name like 'abc%'select id from t where createdate >= '2005-11-30' and createdate < '2005-12-1'。

    11.在使用索引字段作为条件时,如果该索引是复合索引,那么必须使用到该索引中的第一个字段作为条件时才能保证系统使用该索引,否则该索引将不会被使用,并且应尽可能的让字段顺序与索引顺序相一致。

    12.不要写一些没有意义的查询,如需要生成一个空表结构:

    select col1,col2 into #t from t where 1=0

    这类代码不会返回任何结果集,但是会消耗系统资源的,应改成这样:

    create table #t(…)

    13.Update 语句,如果只更改1、2个字段,不要Update全部字段,否则频繁调用会引起明显的性能消耗,同时带来大量日志。

    14.对于多张大数据量(这里几百条就算大了)的表JOIN,要先分页再JOIN,否则逻辑读会很高,性能很差。

    15.select count(*) from table;这样不带任何条件的count会引起全表扫描,并且没有任何业务意义,是一定要杜绝的。

    16.索引并不是越多越好,索引固然可以提高相应的 select 的效率,但同时也降低了 insert 及 update 的效率,因为 insert 或 update 时有可能会重建索引,所以怎样建索引需要慎重考虑,视具体情况而定。一个表的索引数最好不要超过6个,若太多则应考虑一些不常使用到的列上建的索引是否有 必要。

    3.数据库结构优化

    优化①:

     

    优化②:适当的冗余,增加计算列

      数据库设计的实用原则是:在数据冗余和处理速度之间找到合适的平衡点 

    满足范式的表一定是规范化的表,但不一定是最佳的设计。很多情况下会为了提高数据库的运行效率,常常需要降低范式标准:适当增加冗余,达到以空间换时间的目的。比如我们有一个表,产品名称,单价,库存量,总价值。这个表是不满足第三范式的,因为“总价值”可以由“单价”乘以“数量”得到,说明“金额”是冗余字段。但是,增加“总价值”这个冗余字段,可以提高查询统计的速度,这就是以空间换时间的作法。合理的冗余可以分散数据量大的表的并发压力,也可以加快特殊查询的速度,冗余字段可以有效减少数据库表的连接,提高效率。

    其中"总价值"就是一个计算列,在数据库中有两种类型:数据列和计算列,数据列就是需要我们手动或者程序给予赋值的列,计算列是源于表中其他的数据计算得来,比如这里的"总价值"

    在SQL中创建计算列:

    create table table1
     (
       number decimal(18,4),
       price money,
       Amount as number*price --这里就是计算列
     ) 

    也可以再表设计中,直接手动添加或修改列属性即可:如下图

     

    是否持久性,我们也需要注意:

    如果是'否',说明这列是虚拟列,每次查询的时候计算一次,而且那么它是不可以用来做check,foreign key或not null约束。 

    如果是'是',就是真实的列,不需要每次都计算,可以再此列上创建索引等等。

     

    优化③:索引

    索引是一个表优化的重要指标,在表优化中占有极其重要的成分,所以将单独写一章”SQL索引一步到位“去告诉大家如何建立和优化索引

     

    优化④:主键和外键的必要性

    主键与外键的设计,在全局数据库的设计中,占有重要地位。 因为:主键是实体的抽象,主键与外键的配对,表示实体之间的连接。

    主键:根据第二范式,需要有一个字段去标识这条记录,主键无疑是最好的标识,但是很多表也不一定需要主键,但是对于数据量大,查询频繁的数据库表,一定要有主键,主键可以增加效率、防止重复等优点。

    外键:外键作为数据库对象,实际上,外键在大部分情况下是很有用的,理由是:外键是最高效的一致性维护方法

     

    优化⑤:存储过程、视图、函数的适当使用

    很多人习惯将复杂操作都放在应用程序层,但如果你要优化数据访问性能,将SQL代码移植到数据库上(使用存储过程,视图,函数和触发器)也是一个很大的改进原因如下:

    1. 存储过程减少了网络传输、处理及存储的工作量,且经过编译和优化,执行速度快,易于维护,且表的结构改变时,不影响客户端的应用程序 

    2、使用存储过程,视图,函数有助于减少应用程序中SQL复制的弊端,因为现在只在一个地方集中处理SQL

    3、使用数据库对象实现所有的TSQL有助于分析TSQL的性能问题,同时有助于你集中管理TSQL代码,更好的重构TSQL代码

     

    优化⑥:传说中的‘三少原则’

    ①:数据库的表越少越好

    ②:表的字段越少越好

    ③:字段中的组合主键、组合索引越少越好

    当然这里的少是相对的,是减少数据冗余的重要设计理念。

     

    优化⑦:分割你的表,减小表尺寸

      如果你发现某个表的记录太多,例如超过一千万条,则要对该表进行水平分割。水平分割的做法是,以该表主键的某个值为界线,将该表的记录水平分割为两个表。

    如果你若发现某个表的字段太多,例如超过八十个,则垂直分割该表,将原来的一个表分解为两个表

     

    优化⑧:字段设计原则

    字段是数据库最基本的单位,其设计对性能的影响是很大的。需要注意如下:

    A、数据类型尽量用数字型,数字型的比较比字符型的快很多。

    B、 数据类型尽量小,这里的尽量小是指在满足可以预见的未来需求的前提下的。能用char 不用Character

    C、 尽量不要允许NULL,除非必要,可以用NOT NULL+DEFAULT代替。

    D、少用TEXT和IMAGE,二进制字段的读写是比较慢的,而且,读取的方法也不多,大部分情况下最好不用。

    E、 自增字段要慎用,不利于数据迁移

     

    9.存储过程与触发器的区别

    触发器与存储过程非常相似,触发器也是SQL语句集,两者唯一的区别是触发器不能用EXECUTE语句调用,而是在用户执行Transact-SQL语句时自动触发(激活)执行。触发器是在一个修改了指定表中的数据时执行的存储过程。常通过创建触发器来强制实现不同表中的逻辑相关数据的引用完整性和一致性。由于用户不能绕过触发器,所以可以用它来强制实施复杂的业务规则,以确保数据的完整性。触发器不同于存储过程,触发器主要是通过事件执行触发而被执行的,而存储过程可以通过存储过程名称名字而直接调用。当对某一表进行诸如UPDATE、INSERT、DELETE这些操作时,SQLSERVER就会自动执行触发器所定义的SQL语句,从而确保对数据的处理必须符合这些SQL语句所定义的规则

    bullets 

    mysql数据库面试总结 

    索引优化

    一、 创建索引,以下情况不适合建立索引

    l 表记录太少

    l 经常插入、删除、修改的表

    l 数据重复且分布平均的表字段

    二、 复合索引

    如果一个表中的数据在查询时有多个字段总是同时出现则这些字段就可以作为复合索引

    索引

    索引是对数据库表中一列或多列的值进行排序的一种结构。

    优点:

    l 大大加快数据的检索速度

    l 创建唯一性索引,保证数据库表中每一行数据的唯一性

    l 可以加速表和表之间的连接

     

    缺点:

    l 索引需要占物理空间。

    l 当对表中的数据进行增加、删除和修改的时候,索引也要动态的维护, 

    索引分类:

    l 普通索引

    create index zjj_temp_index_1 on zjj_temp_1(first_name);

    drop index zjj_temp_index_1;

    l 唯一索引,索引列的值必须唯一,但允许有空值

    create unique index zjj_temp_1  on zjj_temp_1(id);

    l 主键索引,它是一种特殊的唯一索引,不允许有空值。

    l 组合索引

    2*******

    4. Oracle的导入导出有几种方式,有何区别?
    1). 使用oracle工具 exp/imp
    2). 使用plsql相关工具
    方法1. 导入/导出的是二进制的数据, 2.plsql导入/导出的是sql语句的文本文件
    5. Oracle中有哪几种文件?
    数据文件(一般后缀为.dbf或者.ora),日志文件(后缀名.log),控制文件(后缀名为.ctl)

    6. 怎样优化oracle数据库,有几种方式? oracle
    个人理解,数据库性能最关键的因素在于IO,因为操作内存是快速的,但是读写磁盘是速度很慢的,优化数据库最关键的问题在于减少磁盘的IO,就个人理解应该分为物理的和逻辑的优化, 物理的是指oracle产品本身的一些优化,逻辑优化是指应用程序级别的优化
    物理优化的一些原则:
    1). Oracle的运行环境(网络,硬件等)
    2). 使用合适的优化器
    3). 合理配置oracle实例参数
    4). 建立合适的索引(减少IO)
    5). 将索引数据和表数据分开在不同的表空间上(降低IO冲突)
    6). 建立表分区,将数据分别存储在不同的分区上(以空间换取时间,减少IO)
       逻辑上优化:
    1). 可以对表进行逻辑分割,如中国移动用户表,可以根据手机尾数分成10个表,这样对性能会有一定的作用
    2). Sql语句使用占位符语句,并且开发时候必须按照规定编写sql语句(如全部大写,全部小写等)oracle解析语句后会放置到共享池中
    如: select * from Emp where name=?  这个语句只会在共享池中有一条,而如果是字符串的话,那就根据不同名字存在不同的语句,所以占位符效率较好
    3). 数据库不仅仅是一个存储数据的地方,同样是一个编程的地方,一些耗时的操作,可以通过存储过程等在用户较少的情况下执行,从而错开系统使用的高峰时间,提高数据库性能
    4). 尽量不使用*号,如select * from Emp,因为要转化为具体的列名是要查数据字典,比较耗时
    5). 选择有效的表名
    对于多表连接查询,可能oracle的优化器并不会优化到这个程度, oracle 中多表查询是根据FROM字句从右到左的数据进行的,那么最好右边的表(也就是基础表)选择数据较少的表,这样排序更快速,如果有link表(多对多中间表),那么将link表放最右边作为基础表,在默认情况下oracle会自动优化,但是如果配置了优化器的情况下,可能不会自动优化,所以平时最好能按照这个方式编写sql
    6). Where字句 规则
    Oracle 中Where字句时从右往左处理的,表之间的连接写在其他条件之前,能过滤掉非常多的数据的条件,放在where的末尾, 另外!=符号比较的列将不使用索引,列经过了计算(如变大写等)不会使用索引(需要建立起函数), is null、is not null等优化器不会使用索引
    7). 使用Exits Not Exits 替代 In  Not in
    8). 合理使用事务,合理设置事务隔离性
    数据库的数据操作比较消耗数据库资源的,尽量使用批量处理,以降低事务操作次数

    9. Oracle是怎样分页的?
    Oracle中使用rownum来进行分页, 这个是效率最好的分页方法,hibernate也是使用rownum来进行oralce分页的
    select * from
      ( select rownum r,a from tabName where rownum <= 20 )
    where r > 10

    21. 怎样创建一个一个索引,索引使用的原则,有什么优点和缺点
     
    索引的优缺点:
    有点:
    1. 创建唯一性索引,保证数据库表中每一行数据的唯一性
    2. 大大加快数据的检索速度,这也是创建索引的最主要的原因
    3. 加速表和表之间的连接,特别是在实现数据的参考完整性方面特别有意义。
    4. 在使用分组和排序子句进行数据检索时,同样可以显著减少查询中分组和排序的时间。
    缺点:
    1. 索引创建在表上,不能创建在视图上
    2. 创建索引和维护索引要耗费时间,这种时间随着数据量的增加而增加
    3. 索引需要占物理空间,除了数据表占数据空间之外,每一个索引还要占一定的物理空间,如果要建立聚簇索引,那么需要的空间就会更大
    4. 当对表中的数据进行增加、删除和修改的时候,索引也要动态的维护,降低了数据的维护速度

    22. 怎样创建一个视图,视图的好处, 视图可以控制权限吗?
    create view 视图名 as select 列名 [别名]  …  from 表 [unio [all] select … ] ]
    好处:
    1. 可以简单的将视图理解为sql查询语句,视图最大的好处是不占系统空间
    2. 一些安全性很高的系统,不会公布系统的表结构,可能会使用视图将一些敏感信息过虑或者重命名后公布结构
    3. 简化查询
    可以控制权限的,在使用的时候需要将视图的使用权限grant给用户
    23. 怎样创建一个触发器, 触发器的定义, 触发器的游标怎样定义
    CREATE [OR REPLACE] TIGGER触发器名 触发时间 触发事件
     ON表名
     [FOR EACH ROW]
     BEGIN
      pl/sql语句
        CURSOR  游标名 is  SELECT * FROM 表名 (定义游标)
      END
     其中:
     触发器名:触发器对象的名称。
     由于触发器是数据库自动执行的,因此该名称只是一个名称,没有实质的用途。
    触发时间:指明触发器何时执行,该值可取:
    before---表示在数据库动作之前触发器执行;
    after---表示在数据库动作之后出发器执行。
    触发事件:指明哪些数据库动作会触发此触发器:                      
       insert:数据库插入会触发此触发器; 

    24. oracle创建表的几种方式;应该注意些什么
    不知道这个题目是不是记错了,感觉很怪
    1. 使用图形工具创建表
    2. 使用数据ddl语句创建表
    3. 可以在plsql代码中动态创建表
    应该注意: 是否有创建表的权限, 使用什么表空间等
    25. 怎样将一个旧数据库数据移到一个新的数据库
    1. Imp/exp将数据库中的数据导入到新的库中
    2. 如果是存储迁移直接将存储设备挂到新机器上
    26. 主键有几种;
    字符型,整数型、复合型
    27. oracle的锁又几种,定义分别是什么;

     

     

    12、如何实现数据库的优化?
        A、调整数据结构的设计。这一部分在开发信息系统之前完成,程序员需要考虑是否使用ORACLE数据库的分区功能,对于经常访问的数据库表是否需要建立索引等。

        B、调整应用程序结构设计。这一部分也是在开发信息系统之前完成,程序员在这一步需要考虑应用程序使用什么样的体系结构,是使用传统的Client/Server两层体系结构,还是使用Browser/Web/Database的三层体系结构。不同的应用程序体系结构要求的数据库资源是不同的。

        C、调整数据库SQL语句。应用程序的执行最终将归结为数据库中的SQL语句执行,因此SQL语句的执行效率最终决定了ORACLE数据库的性能。ORACLE公司推荐使用ORACLE语句优化器(Oracle Optimizer)和行锁管理器(row-level manager)来调整优化SQL语句。

        D、调整服务器内存分配。内存分配是在信息系统运行过程中优化配置的,数据库管理员可以根据数据库运行状况调整数据库系统全局区(SGA区)的数据缓冲区、日志缓冲区和共享池的大小;还可以调整程序全局区(PGA区)的大小。需要注意的是,SGA区不是越大越好,SGA区过大会占用操作系统使用的内存而引起虚拟内存的页面交换,这样反而会降低系统。

        E、调整硬盘I/O,这一步是在信息系统开发之前完成的。数据库管理员可以将组成同一个表空间的数据文件放在不同的硬盘上,做到硬盘之间I/O负载均衡。

        F、调整操作系统参数,例如:运行在UNIX操作系统上的ORACLE数据库,可以调整UNIX数据缓冲池的大小,每个进程所能使用的内存大小等参数。

    16.oracle事务处理

    什么是事务

    事务用于保证数据的一致性,它由一组相关的dml语句组成,该组的dml(数据操作语言,增删改,没有查询)语句要么全部成功,要么全部失败

    如:网上转账就是典型的要用事务来处理,用于保证数据的一致性。

    dml 数据操作语言 银行转账、QQ申请、车票购买

     事务和锁

    当执行事务操作时(dml语句),oracle会在被作用的表上加锁,防止其它用户修改表的结构。这里对我们的用户来来讲是非常重要的。

    .....其它进程排序,知道1号进程完成,锁打开,2号进程进入。依次进行,如果有进程级别较高的,可以插队。

     提交事务

    当执行用commit语句可以提交事务。当执行了commit语句之后,会确认事务的变化、结束事务。删除保存点、释放锁,当使用commit语句结束事务之后,其它会话将可以查看到事务变化后的新数据

    保存点就是为回退做的。保存点的个数没有限制 

     回退事务

    在介绍回退事务前,我们先介绍一下保存点(savepoint)的概念和作用。保存点是事务中的一点。用于取消部分事务,当结束事务时,会自动的删除该事务所定义的所有保存点。当执行rollback时,通过指定保存点可以回退到指定的点,这里我们作图说明。

     

     

     

     

     

     

    现象:

    控制台1在操作数据库时,若没提交(commit)动作时,则我们控制台2看到的信息就会在控制台1中结果不一样。

    即:

    数据库把一系列的对数据库的操作看做一个整体,要么全部成功,要么全部失败,这样的现象称为事物现象,事务具有原子性

     

     

     

     

    18.oracle 序列(sequence)

    需求:在某张表中,存在一个id列(整数),我们希望添加记录的时候,该列从1开始,自动的增长

    解决方式:oracle是利用(sequence)来完成的

    序列特点:由用户创建数据库对象可由多个用户共享(system可以使用scott创建的序列),一般用于主键或唯一列,可为表中的列自动产生值。

    问题:若system使用scott的序列,从什么开始增长?   答案:接着增长

    insert into test1values(scott.myseq.nextval,'kkk');

  • 相关阅读:
    (转)金额转中文大写
    根据方法名称动态调用方法
    sqlplus 一次奇葩问题 HTTP proxy setting has incorrect value
    Oracle 中包的应用
    Scala开发环境搭建
    巧妙利用jQuery和PHP打造类似360安全卫士防火墙功能开关(类似iphone界面)效果
    jquery选择器的实现流程简析及提高性能建议!
    8个超级震憾的Jquery图片特效欣赏,考验你的浏览器!
    分享七个绚丽夺目的JQuery导航(还有苹果、猪八戒等),有图有真相
    jQuery多媒体播放器插件jQuery Media Plugin使用方法
  • 原文地址:https://www.cnblogs.com/shan13936/p/13801035.html
Copyright © 2011-2022 走看看