zoukankan      html  css  js  c++  java
  • MySQL性能调优与架构设计——第2章 MySQL架构组成

    第2章 MySQL架构组成

    前言
       麻雀虽小,五脏俱全。MySQL 虽然以简单著称,但其内部结构并不简单。本章从MySQL物理组成、逻辑组成,以及相关工具几个角度来介绍 MySQL 的整体架构组成,希望能够让读者对 MySQL有一个更全面深入的了解。

    2.1 MySQL物理文件组成

    2.1.1 日志文件

    1、错误日志:Error Log

       错误日志记录了MyQL Server运行过程中所有较为严重的警告和错误信息,以及MySQL Server每次启动和关闭的详细信息。在默认情况下,系统记录错误日志的功能是关闭的, 错误信息被输出到标准错误输出(stderr),如果要开启系统记录错误日志的功能,需要在启动时开启-log-error选项。错误日志的默认存放位置在数据目录下,以hostname.err命名。但是可以使用命令:--log-error[=file_name],修改其存放目录和文件名。

       为了方便维护需要,有时候会希望将错误日志中的内容做备份并重新开始记录,这时候就可以利用MySQL的FLUSH LOGS命令来告诉MySQL备份旧日志文件并生成新的日志文件。备份文件名以“.old”结尾。

    2、二进制日志:Binary Log & Binary Log Index

       二进制日志,也就是我们常说的binlog,也是MySQL Server中最为重要的日志之一。当我们通过“--log-bin[=file_name]”打开了记录的功能之后,MySQL会将所有修改数据库数据的query以二进制形式记录到日志文件中。当然,日志中并不仅限于query语句这么简单,还包括每一条query所执行的时间,所消耗的资源,以及相关的事务信息,所以binlog是事务安全的。

       和错误日志一样,binlog记录功能同样需要“--log-bin[=file_name]”参数的显式指定才能开启,如果未指定file_name,则会在数据目录下记录为mysql-bin.*****(* *代表0~9之间的某一个数字,来表示该日志的序号)。

       binlog还有其他一些附加选项参数:


       “--max_binlog_size”设置binlog的最大存储上限,当日志达到该上限时,MySQL会重新创建一个日志开始继续记录。不过偶尔也有超出该设置的binlog产生,一般都是因为在即将达到上限时,产生了一个较大的事务,为了保证事务安全,MySQL不会将同一个事务分开记录到两个binlog中。

       “--binlog-do-db=db_name”参数明确告诉MySQL,需要对某个(db_name)数据库记录binlog,如果有了“--binlog-do-db=db_name”参数的显式指定,MySQL会忽略针对其他数据库执行的query,而仅仅记录针对指定数据库执行的query。

       “--binlog-ignore-db=db_name”与“--binlog-do-db=db_name”完全相反,它显式指定忽略某个(db_name)数据库的binlog记录,当指定了这个参数之后,MySQL会记录指定数据库以外所有的数据库的binlog。

      “--binlog-ignore-db=db_name”与“--binlog-do-db=db_name”两个参数有一个共同的概念需要大家理解清楚,参数中的db_name不是指query语句更新的数据所在的数据库,而是执行query的时候当前所处的数据库。不论更新哪个数据库的数据,MySQL仅仅比较当前连接所处的数据库(通过use db_name切换后所在的数据库)与参数设置的数据库名,而不会分析query语句所更新数据所在的数据库。

       mysql-bin.index 文件(binary log index)的功能是记录所有Binary Log的绝对路径,保证 MySQL 各种线程能够顺利的根据它找到所有需要的Binary Log文件。

    3、更新日志:update log

       更新日志是MySQL在较老的版本上使用的,其功能和binlog基本类似,只不过不是以二进制格式来记录而是以简单的文本格式记录内容。自从 MySQL增加了binlog功能之后,就很少使用更新日志了。从版本5.0开始,MySQL已经不再支持更新日志了。

    4、查询日志:query log

       查询日志记录MySQL中所有的query,通过“--log[=fina_name]”来打开该功能。由于记录了所有的query,包括所有的select,体积比较大,开启后对性能也有较大的影响,所以请大家慎用该功能。一般只用于跟踪某些特殊的sql性能问题才会短暂打开该功能。默认的查询日志文件名为hostname.log。

    5、慢查询日志:slow query log

       顾名思义,慢查询日志中记录的是执行时间较长的 query,也就是我们常说的slow query,通过设--log-slow-queries[=file_name]来打开该功能并设置记录位置和文件名,默认文件名为hostname-slow.log,默认目录也是数据目录。

       慢查询日志采用的是简单的文本格式,可以通过各种文本编辑器查看其中的内容。其中记录了语句执行的时刻,执行所消耗的时间,执行用户,连接主机等相关信息。MySQL还提供了专门用来分析满查询日志的工具程序mysqlslowdump,用来帮助数据库管理人员解决可能存在的性能问题。

    6、Innodb的在线redo日志:innodb redo log

       Innodb是一个事务安全的存储引擎,其事务安全性主要就是通过在线redo日志和记录在表空间中的undo信息来保证的。redo日志中记录了Innodb所做的所有物理变更和事务信息,通过redo日志和undo信息,Innodb保证了在任何情况下的事务安全性。Innodb的redo日志同样默认存放在数据目录下,可以通过innodb_log_group_home_dir来更改设置日志的存放位置,通过innodb_log_files_in_group设置日志的数量。


    2.1.2 数据文件

       在MySQL中每一个数据库都会在定义好(或者默认)的数据目录下存在一个以数据库名字命名的文件夹,用来存放该数据库中各种表数据文件。不同的MySQL存储引擎有各自不同的数据文件,存放位置也有区别。多数存储引擎的数据文件都存放在和MyISAM数据文件位置相同的目录下,但是每个数据文件的扩展名却各不一样。如MyISAM用“.MYD”作为扩展名,Innodb用“.ibd”,Archive用“.arc”,CSV用“.csv”,等等。

    1、“.frm”文件

       与表相关的元数据(meta)信息都存放在“.frm”文件中,包括表结构的定义信息等。不论是什么存储引擎,每一个表都会有一个以表名命名的“.frm”文件。所有的“.frm”文件都存放在所属数据库的文件夹下面。

    2、“.MYD”文件

       “.MYD”文件是MyISAM存储引擎专用,存放MyISAM表的数据。每一个MyISAM表都会有一个“.MYD”文件与之对应,同样存放于所属数据库的文件夹下,和“.frm”文件在一起。

    3、“.MYI”文件

       “.MYI”文件也是专属于MyISAM存储引擎的,主要存放MyISAM表的索引相关信息。对于MyISAM存储来说,可以被cache的内容主要就是来源于“.MYI”文件中。每一个MyISAM表对应一个“.MYI”文件,存放于位置和“.frm”以及“.MYD”一样。

    4、“.ibd”文件和ibdata文件

       这两种文件都是存放Innodb数据的文件,之所以有两种文件来存放Innodb的数据(包括索引),是因为 Innodb的数据存储方式能够通过配置来决定是使用共享表空间存放存储数据,还是独享表空间存放存储数据。独享表空间存储方式使用“.ibd”文件来存放数据,且每个表一个“.ibd”文件,文件存放在和MyISAM数据相同的位置。如果选用共享存储表空间来存放数据,则会使用ibdata文件来存放,所有表共同使用一个(或者多个,可自行配置)ibdata文件。ibdata文件可以通过innodb_data_home_dir和innodb_data_file_path两个参数共同配置组成,innodb_data_home_dir 配置数据存放的总目录,而innodb_data_file_path 配 置 每 一 个 文 件 的 名 称 。当然,也可以不配置innodb_data_home_dir而直接在innodb_data_file_path参数配置的时候使用绝对路径来完成配置。innodb_data_file_path中可以一次配置多个ibdata文件。文件可以是指定大小,也可以是自动扩展的,但是Innodb限制了仅仅只有最后一个ibdata文件能够配置成自动扩展类型。当我们需要添加新的ibdata文件的时候,只能添加在innodb_data_file_path配置的最后,而且必须重启MySQL才能完成ibdata的添加工作。不过如果我们使用独享表空间存储方式的话,就不会有这样的问题,但是如果要使用裸设备的话,每个表一个裸设备,
    可能造成裸设备数量非常大,而且不太容易控制大小,实现比较困难,而共享表空间却不会有这个问题,容易控制裸设备数量。我个人还是更倾向于使用独享表空间存储方式。当然,两种方式各有利弊,看大家各自应用环境的侧重点在那里了。

       上面仅仅介绍了两种最常用存储引擎的数据文件,此外其他各种存储引擎都有各自的数据文件,读者朋友可以自行创建某个存储引擎的表做一个简单的测试,做更多的了解。


    2.1.3 Replication相关文件:

    1、master.info文件:

       master.info文件存在于Slave端的数据目录下,里面存放了该Slave的Master端的相关信息,包括Master的主机地址,连接用户,连接密码,连接端口,当前日志位置,已经读取到的日志位置等信息。

    2、relay log 和relay log index

       mysql-relay-bin.xxxxxn 文件用于存放 Slave 端的I/O线程从 Master 端所读取到的 Binary Log 信息,然后由 Slave 端的 SQL 线程从该 relay log 中读取并解析相应的日志信息,转化成 Master 所执行的 SQL 语句,然后在 Slave 端应用。

       mysql-relay-bin.index 文件的功能类似于 mysql-bin.index ,同样是记录日志的存放位置的绝对路径,只不过他所记录的不是 Binary Log,而是 Relay Log。

     3、relay-log.info文件:

        类似于master.info,它存放通过Slave的I/O线程写入到本地的relay log的相关信 息。供Slave端的SQL线程以及某些管理操作随时能够获取当前复制的相关信息。



     2.1.4 其他文件:

     1、system config file

        MySQL的系统配置文件一般都是“my.cnf”,Unix/Linux下默认存放在"/etc"目录下, Windows环境一般存放在“c:/windows”目录下面。“my.cnf”文件中包含多种参数选项组(group),每一种参数组都通过中括号给定了固定的组名,如“[mysqld]”组中包括了mysqld 服务启动时候的初始化参数,“[client]”组中包含着客户端工具程序可以读取的参数,此 外还有其他针对于各个客户端软件的特定参数组,如mysql程序使用的“[mysql]”,mysqlchk 使用的“[mysqlchk]”,等等。如果读者朋友自己编写了某个客户端程序,也可以自己设定 一个参数组名,将相关参数配置在里面,然后调用mysql客户端api程序中的参数读取api读取相关参数。

     2、pid file

        pid file是mysqld应用程序在Unix/Linux环境下的一个进程文件,和许多其他 Unix/Linux服务端程序一样,存放着自己的进程id。

     3、socket file

        socket文件也是在Unix/Linux环境下才有的,用户在Unix/Linux环境下客户端连接 可以不通过TCP/IP网络而直接使用Unix Socket来连接MySQL。


     2.2MySQLServer 系统架构

     2.2.1 逻辑模块组成

        总的来说,MySQL可以看成是二层架构,第一层我们通常叫做SQL Layer,在MySQL数 据库系统处理底层数据之前的所有工作都是在这一层完成的,包括权限判断,sql解析,执行计划优化,query cache的处理等等;第二层就是存储引擎层,我们通常叫做Storage Engine Layer,也就是底层数据存取操作实现部分,由多种存储引擎共同组成。所以,可以 用如下一张最简单的架构示意图来表示MySQL的基本架构,如图2-1所示:



       虽然从上图看起来MySQL架构非常的简单,就是简单的两部分而已,但实际上每一层中都含有各自的很多小模块,尤其是第一层 SQL Layer,结构相当复杂的。下面我们就分别针对SQL Layer和Storage Engine Layer做一个简单的分析。

       SQL Layer中包含了多个子模块,下面我将逐个做一下简单的介绍:

       1、初始化模块

       顾名思议,初始化模块就是在MySQL Server启动的时候,对整个系统做各种各样的初始化操作,比如各种buffer,cache结构的初始化和内存空间的申请,各种系统变量的初始化设定,各种存储引擎的初始化设置,等等。



       2、核心API

       核心API模块主要是为了提供一些需要非常高效的底层操作功能的优化实现,包括各种底层数据结构的实现,特殊算法的实现,字符串处理,数字处理等,小文件I/O,格式化输出,以及最重要的内存管理部分。核心API模块的所有源代码都集中在mysys和strings文件夹下面,有兴趣的读者可以研究研究。



       3、网络交互模块

       底层网络交互模块抽象出底层网络交互所使用的接口api,实现底层网络数据的接收与发送,以方便其他各个模块调用,以及对这一部分的维护。所有源码都在vio文件夹下面。



       4、Client & Server 交互协议模块

       任何C/S结构的软件系统,都肯定会有自己独有的信息交互协议,MySQL也不例外。MySQL的Client & Server 交互协议模块部分,实现了客户端与MySQL交互过程中的所有协议。当然这些协议都是建立在现有的OS和网络协议之上的,如TCP/IP以及Unix Socket。



       5、用户模块

       用户模块所实现的功能,主要包括用户的登录连接权限控制和用户的授权管理。他就像MySQL的大门守卫一样,决定是否给来访者“开门”。



       6、访问控制模块

       造访客人进门了就可以想干嘛就干嘛么?为了安全考虑,肯定不能如此随意。这时候就需要访问控制模块实时监控客人的每一个动作,给不同的客人以不同的权限。访问控制模块实现的功能就是根据用户模块中各用户的授权信息,以及数据库自身特有的各种约束,来控制用户对数据的访问。用户模块和访问控制模块两者结合起来,组成了MySQL整个数据库系统的权限安全管理的功能。



       7、连接管理、连接线程和线程管理

       连接管理模块负责监听对MySQL Server的各种请求,接收连接请求,转发所有连接请求到线程管理模块。每一个连接上MySQL Server的客户端请求都会被分配(或创建)一个连接线程为其单独服务。而连接线程的主要工作就是负责 MySQL Server与客户端的通信,受客户端的命令请求,传递Server端的结果信息等。线程管理模块则负责管理维护这些接线程。包括线程的创建,线程的cache等。



       8、Query解析和转发模块

       在MySQL中我们习惯将所有Client端发送给Server端的命令都称为query,在 MySQL Server里面,连接线程接收到客户端的一个Query后,会直接将该query传递给专门负责将各种Query进行分类然后转发给各个对应的处理模块,这个模块就是query解析和转发模块。其主要工作就是将query语句进行语义和语法的分析,然后按照不同的操作类型进行分类,然后做出针对性的转发。



       9、Query Cache模块

       Query Cache模块在MySQL中是一个非常重要的模块,他的主要功能是将客户端提交给MySQL的Select类query请求的返回结果集cache到内存中,与该query的一个hash值做一个对应。该Query所取数据的基表发生任何数据的变化之后,MySQL会自动使该query的Cache失效。在读写比例非常高的应用系统中,Query Cache对性能的提高是非常显著的。当然它对内存的消耗也是非常大的。



       10、Query优化器模块

       Query优化器,顾名思义,就是优化客户端请求的query,根据客户端请求的query语句,和数据库中的一些统计信息,在一系列算法的基础上进行分析,得出一个最优的策略,告诉后面的程序如何取得这个query语句的结果。



       11、表变更管理模块

       表变更管理模块主要是负责完成一些DML和DDL的query,如:update,delte,insert,create table,alter table等语句的处理。



       12、表维护模块

       表的状态检查,错误修复,以及优化和分析等工作都是表维护模块需要做的事情。



       13、系统状态管理模块

       系统状态管理模块负责在客户端请求系统状态的时候,将各种状态数据返回给用户,像DBA常用的各种show status命令,show variables命令等,所得到的结果都是由这个模块返回的。



       14、表管理器

       这个模块从名字上看来很容易和上面的表变更和表维护模块相混淆,但是其功能与变更及维护模块却完全不同。大家知道,每一个MySQL的表都有一个表的定义文件,也就是*.frm文件。表管理器的工作主要就是维护这些文件,以及一个cache,该cache中的主要内容是各个表的结构信息。此外它还维护table级别的锁管理。



       15、日志记录模块

       日志记录模块主要负责整个系统级别的逻辑层的日志的记录,包括error log,binarylog,slow query log等。



       16、复制模块

       复制模块又可分为 Master 模块和 Slave 模块两部分,Master 模块主要负责在Replication环境中读取Master端的binary日志,以及与Slave端的I/O线程交互等工作。Slave模块比Master模块所要做的事情稍多一些,在系统中主要体现在两个线程上面。一个是负责从Master请求和接受binary日志,并写入本地relay log中的I/O线程。另外一个是负责从relay log中读取相关日志事件,然后解析成可以在Slave端正确执行并得到和Master端完全相同的结果的命令并再交给Slave执行的SQL线程。



       17、存储引擎接口模块

       存储引擎接口模块可以说是MySQL数据库中最有特色的一点了。目前各种数据库产品中,基本上只有MySQL可以实现其底层数据存储引擎的插件式管理。这个模块实际上只是一个抽象类,但正是因为它成功地将各种数据处理高度抽象化,才成就了今天MySQL可插拔存储引擎的特色。



    2.2.2 各模块工作配合



       在了解了MySQL的各个模块之后,我们再看看MySQL各个模块间是如何相互协同工作的。接下来,我们通过启动MySQL,客户端连接,请求query,得到返回结果,最后退出,这样一整个过程来进行分析。



       当我们执行启动MySQL命令之后,MySQL的初始化模块就从系统配置文件中读取系统参数和命令行参数,并按照参数来初始化整个系统,如申请并分配buffer,初始化全局变量, 以及各种结构等。同时各个存储引擎也被启动,并进行各自的初始化工作。当整个系统初始化结束后,由连接管理模块接手。连接管理模块会启动处理客户端连接请求的监听程序,包括tcp/ip的网络监听,还有unix的socket。这时候,MySQL Server就基本启动完成,准备好接受客户端请求了。



       当连接管理模块监听到客户端的连接请求(借助网络交互模块的相关功能),双方通过Client & Server 交互协议模块所定义的协议“寒暄”几句之后,连接管理模块就会将连接请求转发给线程管理模块,去请求一个连接线程。

      

       线程管理模块马上又会将控制交给连接线程模块,告诉连接线程模块:现在我这边有连接请求过来了,需要建立连接,你赶快处理一下。连接线程模块在接到连接请求后,首先会检查当前连接线程池中是否有被cache的空闲连接线程,如果有,就取出一个和客户端请求连接上,如果没有空闲的连接线程,则建立一个新的连接线程与客户端请求连接。当然,连接线程模块并不是在收到连接请求后马上就会取出一个连接线程连和客户端连接,而是首先通过调用用户模块进行授权检查,只有客户端请求通过了授权检查后,他才会将客户端请求 和负责请求的连接线程连上。



       在MySQL中,将客户端请求分为了两种类型:一种是query,需要调用Parser也就是Query解析和转发模块的解析才能够执行的请求;一种是command,不需要调用Parser就可以直接执行的请求。如果我们的初始化配置中打开了Full Query Logging的功能,那么Query解析与转发模块会调用日志记录模块将请求计入日志,不管是一个Query类型的请求还是一个command类型的请求,都会被记录进入日志,所以出于性能考虑,一般很少打开Full Query Logging的功能。



       当客户端请求和连接线程“互换暗号(互通协议)”接上头之后,连接线程就开始处理客户端请求发送过来的各种命令(或者query),接受相关请求。它将收到的query语句转给Query解析和转发模块,Query解析器先对Query进行基本的语义和语法解析,然后根据命令类型的不同,有些会直接处理,有些会分发给其他模块来处理。



       如果是一个Query类型的请求,会将控制权交给Query解析器。Query解析器首先分析看是不是一个select类型的query,如果是,则调用查询缓存模块,让它检查该query在query cache中是否已经存在。如果有,则直接将cache中的数据返回给连接线程模块,然后通过与客户端的连接的线程将数据传输给客户端。如果不是一个可以被cache的query类型,或者cache中没有该query的数据,那么query将被继续传回query解析器,让query解析器进行相应处理,再通过query分发器分发给相关处理模块。



       如果解析器解析结果是一条未被cache的select语句,则将控制权交给Optimizer,也就是Query优化器模块,如果是DML或者是DDL语句,则会交给表变更管理模块,如果是一些更新统计信息、检测、修复和整理类的query则会交给表维护模块去处理,复制相关的query则转交给复制模块去进行相应的处理,请求状态的query则转交给了状态收集报告模块。实际上表变更管理模块根据所对应的处理请求的不同,是分别由insert处理器、delete处理器、update处理器、create处理器,以及alter处理器这些小模块来负责不同的DML和DDL的。



       在各个模块收到Query解析与分发模块分发过来的请求后,首先会通过访问控制模块检查连接用户是否有访问目标表以及目标字段的权限,如果有,就会调用表管理模块请求相应的表,并获取对应的锁。表管理模块首先会查看该表是否已经存在于table cache中,如果已经打开则直接进行锁相关的处理,如果没有在cache中,则需要再打开表文件获取锁,然后将打开的表交给表变更管理模块。



       当表变更管理模块“获取”打开的表之后,就会根据该表的相关meta信息,判断表的存储引擎类型和其他相关信息。根据表的存储引擎类型,提交请求给存储引擎接口模块,调用对应的存储引擎实现模块,进行相应处理。



       不过,对于表变更管理模块来说,可见的仅是存储引擎接口模块所提供的一系列“标准” 接口,底层存储引擎实现模块的具体实现,对于表变更管理模块来说是透明的。他只需要调用对应的接口,并指明表类型,接口模块会根据表类型调用正确的存储引擎来进行相应的处理。



      当一条query或者一个command处理完成(成功或者失败)之后,控制权都会交还给连接线程模块。如果处理成功,则将处理结果(可能是一个Result set,也可能是成功或者失败的标识)通过连接线程反馈给客户端。如果处理过程中发生错误,也会将相应的错误信息发送给客户端,然后连接线程模块会进行相应的清理工作,并继续等待后面的请求,重复上面提到的过程,或者完成客户端断开连接的请求。



      如果在上面的过程中,相关模块使数据库中的数据发生了变化,而且MySQL打开了bin-log功能,则对应的处理模块还会调用日志处理模块将相应的变更语句以更新事件的形式记录到相关参数指定的二进制日志文件中。



      在上面各个模块的处理过程中,各自的核心运算处理功能部分都会高度依赖整个MySQL的核心API模块,比如内存管理,文件I/O,数字和字符串处理等等。



      了解到整个处理过程之后,我们可以将以上各个模块画成如图2-2的关系图:



    2.3 MySQL 自带工具使用介绍



        MySQL数据库不仅提供了数据库的服务器端应用程序,同时还提供了大量的客户端工具程序,如mysql,mysqladmin,mysqldump等等,都是大家所熟悉的。虽然有些人对这些工具的功能都已经比较了解了,但是真正能将这些工具程序物尽其用的人可能并不是太多,或者知道的不全,也可能并不完全了解其中的某种特性。所以在这里我也简单地做一个介绍。



    1、mysql

        相信在所有MySQL客户端工具中,读者了解最多的就是mysql了,用的最多的应该也非他莫属。mysql的功能和Oracle的sqlplus一样,为用户提供一个命令行接口来操作管理 MySQL服务器。其基本的使用语法这里就不介绍了,大家只要运行一下“mysql --help”就

    会得到如下相应的基本使用帮助信息:



    sky@sky:~$ mysql --help

    mysql Ver 14.14 Distrib 5.1.26-rc, for pc-linux-gnu (i686) using EditLine

    wrapper

    Copyright (C) 2000-2008 MySQL AB

    This software comes with ABSOLUTELY NO WARRANTY. This is free software,

    and you are welcome to modify and redistribute it under the GPL license

    Usage: mysql [OPTIONS] [database]

      -?, --help          Display this help and exit.

      ... ...

      -e, --execute=name Execute command and quit. (Disables --force and history  file)

      -E, --vertical      Print the output of a query (rows) vertically.

      ... ...

      -H, --html          Produce HTML output.

      -X, --xml           Produce XML output

      ... ...

      --prompt=name       Set the mysql prompt to this value.

      ... ...

      --tee=name          Append everything into outfile. See interactive help (h)

                          also. Does not work in batch mode. Disable with

                          --disable-tee. This option is disabled by default.
      ... ...

      -U, --safe-updates Only allow UPDATE and DELETE that uses keys.

      --select_limit=#  Automatic limit for SELECT when using --safe-updates

      --max_join_size=# Automatic limit for rows in a join when using

                     --safe-updates
      ... ...

      --show-warnings Show warnings after every statement.

      ... ...

       上面的内容仅仅只是输出的一部分,省略去掉了大家最常用的一些参数(因为大家应该已经很熟悉了),留下了部分个人认为可能不是太经常用到,但是在有些情况下却能给我们带来意料之外的惊喜的一些参数选项。

       首先看看“-e, --execute=name”参数,这个参数是告诉mysql,我只要执行“-e”后面的某个命令,而不是要通过mysql连接登录到MySQL Server上面。此参数在我们写一些基本的MySQL检查和监控的脚本中非常有用,我个人就经常在脚本中使用到他。



       如果在连接时候使用了“-E, --vertical”参数,登入之后的所有查询结果都将以纵列显示,效果和我们在一条query之后以“G”结尾一样,这个参数的使用场景可能不是特别多。



       “-H, --html”与“-X, --xml”这两个参数很有意思的,在启用这两个参数之后,select出来的所有结果都会按照“Html”与“Xml”格式来输出,在有些场合之下,比如希望Xml或者Html文件格式导出某些报表文件的时候,是非常方便的。



       “--prompt=name”参数对于做运维的人来说是一个非常重要的参数选项,其主要功能是定制自己的mysql提示符的显示内容。在默认情况下,我们通过mysql登入到数据库之后,mysql的提示符只是一个很简单的内容”mysql>“,没有其他任何附加信息。非常幸运的是mysql通过“--prompt=name”参数给我们提供了自定义提示信息的办法,可以通过配置显示登入的主机地址,登录用户名,当前时间,当前数据库schema,MySQL Server的一些信息等等。我个人强烈建议将登录主机名,登录用户名和所在的schema这三项加入提示内容,因为当大家手边管理的MySQL越来越多,操作越来越频繁的时候,非常容易因为操作的时候没有太在意自己当前所处的环境而造成在错误的环境执行了错误的命令并造成严重后果的情况。如果我们在提示内容中加入了这几项之后,至少可以更方便的提醒自己当前所处环境,以尽量减少犯错误的概率。

       我个人的提示符定义: "\u@\h : \d \r:\m:\s> ",显示效果:

       “sky@localhost : test 04:25:45>”



       “--tee=name”参数也是对运维人员非常有用的参数选项,用来告诉mysql,将所有输入和输出内容都记录进文件。在我们一些较大维护变更的时候,为了方便被查,最好是将整个操作过程的所有输入和输出内容都保存下来。有了“--tee=name”参数,就再也不用通过copy屏幕来保存操作过程了。


       “-U, --safe-updates”,“--select_limit=#”和“--max_join_size=#”三个参数都是出于性能相关考虑的参数。使用“-U, --safe-updates”参数之后,将禁止所有不能使用索引的update和delete操作的请求,“--select_limit=#”的使用前提是有“-U, --safe-updates”参数,功能是限制查询记录的条数,“--max_join_size=#”也需要与“-U, --safe-updates”一起使用,限制参与join的最大记录数。



       “--show-warnings”参数作用是在执行完每一条query之后都会自动执行一次“show warnings”,显示出最后一次warning的内容。



       上面仅仅介绍了部分不是太常使用但是很有特点的少数几个参数选项,实际上mysql程序支持非常多的参数选项,有其自身的参数,也有提交给 MySQL Server的。mysql的所有参数选项都可以写在MySQL Server启动参数文件(my.cnf)的[mysql]参数group中,还有部分连接选项参数会从[client]参数group中读取,这样很多参数就可以不用在每次执行mysql的时候都手工输入,而由mysql程序自己自动从my.cnf文件load这些参数。



       如果读者朋友希望对mysql其他参数选项或者mysql的其他更国有图有更深入的了解, 可以通过MySQL官方参考手册查阅,也可以通过执行“mysql --help”得到帮助信息之后通过自行实验来做进一步的深刻认识。当然如果您是一位基本能看懂c语言的朋友,那么您完全可以通过mysql程序的源代码来发现其更多有趣的内容。



    2、mysqladmin

       Usage: mysqladmin [OPTIONS] command command ...



       mysqadmin,顾名思义,提供的功能都是与MySQL管理相关的各种功能。如MySQL Server状态检查,各种统计信息的flush,创建/删除数据库,关闭MySQL Server等等。mysqladmin所能做的事情,虽然大部分都可以通过mysql连接登录上MySQL Server之后来完成,但是大部分通过mysqladmin来完成操作会更简单更方便。这里我将介绍一下自己经常使用到的几个常用功能:



       ping命令可以很容易检测MySQL Server是否还能正常提供服务

       sky@sky:~# mysqladmin -u sky -ppwd -h localhost ping

       mysqld is alive



       status命令可以获取当前MySQL Server的几个基本的状态值:

       sky@sky:~# mysqladmin -u sky -ppwd -h localhost status

       Uptime: 20960 Threads: 1 Questions: 75 Slow queries: 0 Opens: 15 Flush tables: 1 Open tables: 9 Queries per second avg: 0.3



       processlist获取当前数据库的连接线程信息:

       sky@sky:~# mysqladmin -u sky -ppwd -h localhost processlist


        上面的这三个功能是我在自己的一些简单监控脚本中经常使用到的,虽然得到的信息还是比较有限,但是对于完成一些比较基本的监控来说,已经足够胜任了。此外,还可以通过mysqladmin来start slave和stop slave,kill某个连接到MySQL Server的线程等等。



    3、mysqldump

        Usage: mysqldump [OPTIONS] database [tables]

        OR    mysqldump [OPTIONS] --databases [OPTIONS] DB1 [DB2 DB3...]

        OR    mysqldump [OPTIONS] --all-databases [OPTIONS]



        mysqldump这个工具我想大部分读者可能都比较熟悉了,其功能就是将MySQL Server中的数据以SQL语句的形式从数据库中dump成文本文件。虽然mysqldump是做为MySQL的一种逻辑备份工具为大家所认识,但我个人觉得称他为SQL生成导出工具更合适一点,因为通过mysqldump所生成的文件,全部是SQL语句,包括数据库和表的创建语句。当然,通过给mysqldump程序加“-T”选项参数之后,可以生成非SQL形式的指定给是的文本文件。这个功能实际上是调用了MySQL中的“select * into OUTFILE from ...”语句而实现。也可以通过“-d,--no-data”仅仅生成结构创建的语句。在声称SQL语句的时候,字符集设置这一项也是比较关键的,建议每次执行mysqldump程序的时候都通过尽量做到“--default-character-set=name”显式指定字符集内容,以防止以错误的字符集生成不可用的内容。mysqldump所生成的SQL文件可以通过mysql工具执行。



    4、mysqlimport

        Usage: mysqlimport [OPTIONS] database textfile ...



        mysqlimport程序是一个将以特定格式存放的文本数据(如通过“select * into OUTFILE from ...”所生成的数据文件)导入到指定的MySQL Server中的工具程序,比如将一个标准的csv文件导入到某指定数据库的指定表中。mysqlimport工具实际上也只是“load data infile”命令的一个包装实现。



    5、mysqlbinlog

        Usage: mysqlbinlog [OPTIONS] log-files



        mysqlbinlog程序的主要功能就是分析MySQL Server所产生的二进制日志(也就是大家所熟知的binlog)。当我们希望通过之前备份的binlog做一些指定时间之类的恢复的时候,mysqlbinlog就可以帮助我们找到恢复操作需要做哪些事情。通过mysqlbinlog,我们可以解析出binlog中指定时间段或者指定日志起始和结束位置的内容解析成SQL语句,并导出到指定的文件中,在解析过程中,还可以通过指定数据库名称来过滤输出内容。



    6、mysqlcheck

        Usage: mysqlcheck [OPTIONS] database [tables]

       OR    mysqlcheck [OPTIONS] --databases DB1 [DB2 DB3...]

       OR    mysqlcheck [OPTIONS] --all-databases



       mysqlcheck工具程序可以检查(check),修复(repair),分析(analyze)和优化(optimize)MySQL Server中的表,但并不是所有的存储引擎都支持这里所有的四个功能,像Innodb就不支持修复功能。实际上,mysqlcheck程序的这四个功能都可以通过mysql连接登录到MySQL Server之后来执行相应命令完成完全相同的任务。



    7、myisamchk

       Usage: myisamchk [OPTIONS] tables[.MYI]



       功能有点类似“mysqlcheck -c/-r”,对检查和修复MyISAM存储引擎的表,但只能对MyISAM存储引擎的索引文件有效,而且不用登录连接上MySQL Server即可完成操作。



    8、myisampack

       Usage: myisampack [OPTIONS] filename ...



       对MyISAM表进行压缩处理,以缩减占用存储空间,一般主要用在归档备份的场景下, 而且压缩后的MyISAM表会变成只读,不能进行任何修改操作。当我们希望归档备份某些历史数据表,而又希望该表能够提供较为高效的查询服务的时候,就可以通过myisampack工具程序来对该MyISAM表进行压缩,因为即使虽然更换成archive存储引擎也能够将表变成只读的压缩表,但是archive表是没有索引支持的,而通过压缩后的MyISAM表仍然可以使用其索引。



    9、mysqlhotcopy

       Usage: mysqlhotcopy db_name[./table_regex/] [new_db_name | directory]



       mysqlhotcopy和其他的客户端工具程序不太一样的是他不是c(或者c++)程序编写的,而是一个perl脚本程序,仅能在Unix/Linux环境下使用。他的主要功能就是对MySQL 中的MyISAM存储引擎的表进行在线备份操作,其备份操作实际上就是通过对数据库中的表进行加锁,然后复制其结构,数据和索引文件来完成备份操作,当然,也可以通过指定“--noindices”告诉mysqlhotcopy不需要备份索引文件。



    10、其他工具

       除了上面介绍的这些工具程序之外,MySQL还有自带了其他大量的工具程序,如针对离线 Innodb 文件做 checksum 的 innochecksum,转换 mSQL C API 函数的 msql2mysql,dumpMyISAM全文索引的myisam_ftdump,分析处理slowlog的sqldumpslow,查询mysql相关开发包位置和include文件位置的mysql_config, 向MySQL AB报告bug的mysqlbug,测 试 套 件 mysqltest 和 mysql_client_test , 批量修改表存储引擎类型的mysql_convert_table_format,能从更新日志中提取给定匹配规则的 query 语句的
    mysql_find_rows,更改MyIsam存储引擎表后缀名的mysql_fix_extensions,修复系统表的mysql_fix_privilege_tables,查看数据库相关对象结构的mysqlshow,MySQL升级工具 mysql_upgrade,通过给定匹配模式来kill客户端连接线程的mysql_zap,查看错误号信息的perror,文本替换工具replace,等等一系列工具程序可供我们使用。如果您希望在MySQL源代码的基础上做一些自己的修改,如修改MyISAM存储引擎的时候,可以利用myisamlog来进行跟踪分析MyISAM的log。

    摘自:《MySQL性能调优与架构设计》简朝阳

    转载请注明出处:

    作者:JesseLZJ
    出处:http://jesselzj.cnblogs.com

  • 相关阅读:
    C语言经典算法100例(二)
    Plus One @LeetCode
    hdu 4099 Revenge of Fibonacci 字典树+大数
    算法入门系列一--DP初步
    《当裸辞的程序猿遇上最冷季八》——第一次约女孩吃饭
    UVa 297
    手机NFC通信的安全车钥匙
    innosetup卸载软件后,删除定时任务schedule task
    VS2008调试程序时出现"XXX mutex not created."
    centOS7关闭防火墙的命令
  • 原文地址:https://www.cnblogs.com/jesselzj/p/4709534.html
Copyright © 2011-2022 走看看