MySQL数据库的安装及体系说明

第1章 MySQL介绍

1.1 数据的定义

数据是指对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合，是可识别、抽象的符号

1.2 数据库管理系统

作用：存储数据、管理数据(查询数据、备份恢复、安全、性能等)

1.2.1 RDBMS及NoSQL的特性对比

种类	RDBMS(关系型数据库)	NoSQL(非关系型)
特点	强大查询功能 强一致性 二级索引 事务支持等	灵活模式 扩展性 高性能 分布式支持
典型产品	Oracle、MySQL、sqlserver、db2	Redis(持久化缓存)、MongoDB(最接近关系型数据的NoSQL)、Memcached、hbase、Neo4j
功能特点介绍	01.数据存取是通过SQL 02.最大特点：数据安全性方面强(ACID)	01.关系型数据库的补充，现在也有部分替代的趋势 02.关注高性能，高并发，灵活性，忽略和上述无关的功能

1.2.2 NoSQL的分类、特点、典型产品

键值(KV)存储：Memcached、Redis

列存储(column-oriented)：HBASE(新浪，360)、Cassandra(200台服务器集群)

文档数据库(document-oriented)：MongoDB(最接近关系型数据库的NoSQL)

图形存储(Graph)：Neo4j

1.2.2.1  Oracle公司产品介绍

01.Oracle数据库版本介绍
   7--8i--9i--10g—11g--12c--18c(?)

02.Oracle的市场应用
市场份额第一，趋势递减
市场空间，传统企业
传统企业也在互联网化

03.MySQL数据库版本介绍
   5.0--5.1--5.5--5.6--5.7--8.0

04.MySQL的市场应用
中、大型互联网公司
市场空间：互联网领域第一
趋势明显

同源产品：MariaDB、perconaDB

1.2.2.2  其他公司产品介绍

01.微软：SQL Server

微软和sysbase合作开发的产品，后自己开发windows平台

3/4线小公司，传统行业在用

02.IBM：DB2

市场占有量小

目前只有：国有银行(人行、中国银行、工商银行等)、中国移动应用

03.PostgreSQL

04.MongoDB

05.Redis

后三者广泛应用在大型互联网公司

1.2.3 Redis特点

01.依然高性能该并发

02.数据持久化的功能

03.支持多数据类型，主从复制和集群

04.管理不再使用SQL

第2章 Mysql安装

2.1 安装方式介绍

01.RPM/Yum：安装方便、速度快，无法定制

02.二进制：无需安装，解压即可使用，但不能定制功能

03.编译安装：可定制，安装慢

5.5之前：./configure make make install

5.5之后：cmake gmake

04.先编译再制作rpm、yum库，然后yum安装

特点：简单、速度快、可定制，比较复杂，制作时间长

2.1.1 企业选择安装方式

中小企业：以上方式都可以，运维偏向编译，dba偏向选择二进制

大型企业：可以选择04

2.2 准备环境

01.克隆模板机(尽量使用centos6)→克隆完做快照

1 iptables -L   #查看已添加的iptables规则
2 iptables -F   #清除已有iptables规则
3 /etc/init.d/iptables stop
4 chkconfig iptables off
5 
6 getenforce

02.设置IP地址为10.0.0.52 主机名db02

A.网卡地址修改IP=10.0.0.52

1 sed -i 's#200#52#g' /etc/sysconfig/network-scripts/ifcfg-eth[01]
2 grep '52' /etc/sysconfig/network-scripts/ifcfg-eth[01]

B.修改系统主机名称

1 hostname db02
2 sed -i 's#oldboyedu-40#db02#g' /etc/sysconfig/network
3 grep "db02" /etc/sysconfig/network

C.重启网络生效

 1 /etc/init.d/network restart 

03.设置hosts解析

 1 echo "10.0.0.52 db02" >>/etc/hosts 

04.添加单独的磁盘用来存放mysql软件和数据(/dev/sdb=20G)

1 mkfs.ext4 /dev/sdb
2 mkdir /application
3 mount /dev/sdb /application
4 blkid   #查询磁盘的uuid，这里用来查询/dev/sdb的信息
5 
6 echo "UUID=xxx    /application   ext4  defaults  0 0 " >>/etc/fstab

2.3 软件安装

2.3.1 安装依赖包

 1 yum install -y ncurses-devel libaio-devel 2 yum install cmake -y #安装cmake 3 rpm -qa ncurses-devel libaio-devel cmake 

 1 vim /etc/yum.conf 2 3 keepcache=1 #将网络yum源使用过的软件包保存下来 4 cachedir=/var/cache/$basearch/$releasever #保存在这个位置 

2.3.2 创建mysql管理用户

 1 useradd -s /sbin/nologin -u 999 -M mysql #无需登录，生产环境中建议手动定义UID及GID 2 id mysql 

2.3.3 解压安装mysql

1 mkdir -p /home/oldboy/tools/
2 cd /home/oldboy/tools/
3 wget -q http://mirrors.sohu.com/mysql/MySQL-5.6/mysql-5.6.36.tar.gz
4 ls -l mysql-5.6.36.tar.gz   #尽量去官方下载或rz直接上传软件包

 

 1 tar xf mysql-5.6.36.tar.gz
 2 cd mysql-5.6.36
 3 cmake . -DCMAKE_INSTALL_PREFIX=/application/mysql-5.6.36    #代码预编译->程序存放位置
 4 -DMYSQL_DATADIR=/application/mysql-5.6.36/data  
 5 -DMYSQL_UNIX_ADDR=/application/mysql-5.6.36/tmp/mysql.sock  
 6 -DDEFAULT_CHARSET=utf8  
 7 -DDEFAULT_COLLATION=utf8_general_ci 
 8 -DWITH_EXTRA_CHARSETS=all 
 9 -DWITH_INNOBASE_STORAGE_ENGINE=1 
10 -DWITH_FEDERATED_STORAGE_ENGINE=1 
11 -DWITH_BLACKHOLE_STORAGE_ENGINE=1 
12 -DWITHOUT_EXAMPLE_STORAGE_ENGINE=1 
13 -DWITH_ZLIB=bundled 
14 -DWITH_SSL=bundled 
15 -DENABLED_LOCAL_INFILE=1 
16 -DWITH_EMBEDDED_SERVER=1 
17 -DENABLE_DOWNLOADS=1 
18 -DWITH_DEBUG=0
19 
20 make && make install   #如果是多核cpu可指定make -jcpu核数，加快编译速度
21 ln -s /application/mysql-5.6.36/ /application/mysql

#补充：如果系统里有曾经安装的数据库文件和启动程序最好停掉或删除，以免冲突

说明：在装系统时不要安装有关虚拟化的选择，因为这样会导致安装KVM的过程中依赖iptable，删除所有iptables规则后重启网络会自动添加上

若上述操作未出现错误(可使用echo $?查看返回值)，cd /application/mysql/若其下有内容则表示MySQL安装成功。至此，数据库安装完成

2.4 初始化及配置数据库

 1 cp support-files/my*.cnf /etc/my.cnf 

初始化系统库对象(程序位置、数据存放位置及使用的用户)

 1 /application/mysql/scripts/mysql_install_db --basedir=/application/mysql/ --datadir=/application/mysql/data --user=mysql 

提示：如果以前操作系统中安装过rpm格式的mysql，系统中可能会遗留/etc/my.cnf文件，则需将它删除/更名，否则该文件会干扰MySQL的正确配置，造成无法启动

说明：初始化mysql数据库文件会有很多信息提示，若出现两个OK的字样即表示初始化成功，否则就要解决初始化的问题

 

 1 chown -R mysql.mysql /application/mysql/ 2 cp /application/mysql/support-files/mysql.server /etc/init.d/mysqld #拷贝mysql启动脚本到命令路径 3 chmod 700 /etc/init.d/mysqld 

2.5 启动服务并测试

 1 chkconfig mysqld on 2 chkconfig --list mysqld 3 /etc/init.d/mysqld start 

注意：此时数据库启动会提示找不到xx/tmp/mysql.sock，因为5.6.36版本不会自动创建tmp目录，需手动创建mkdir -p /application/mysql/tmp

 1 netstat -lntup|grep 3306 2 cd /application/mysql/bin 3 ./mysql 

2.6 设置mysql全局变量

1 echo 'PATH=/application/mysql/bin/:$PATH' >>/etc/profile
2 tail -1 /etc/profile
3 source /etc/profile
4 echo $PATH
5 mysql

说明：数据库分为系统数据和管理数据

2.6.1 排错方法

01.输出

02.错误日志

 1 tail -100 /application/mysql/data/db02.err #日志需定期切割，否则会导致日志过大无法查看 

2.6.2 设置mysql数据库密码并登录

01.设置密码

1 which mysqladmin
2 mysqladmin -u root password 'oldboy123'   #设置密码oldboy123
3 mysqladmin -u root -p password '新密码'   #更改密码

注意：此时命令回车后需验证旧密码，输入旧密码后即更改成功

02.登录测试

 1 mysql -uroot -poldboy123 

2.6.2.1  生产环境中如何更安全的登录数据库

 1 mysql -uroot -p 2 #此时回车后只需输入密码即可登录，且密码不会被打印到屏幕上 

2.6.3 删除用户及无用数据库(基本优化)

 1 show databases; #查看数据库及用户 2 select user,host from mysql.user; 

 

#删除用户

1 drop user ''@'db02';
2 drop user ''@'localhost';
3 drop user 'root'@'db02';
4 drop user 'root'@'::1';
5 select user,host from mysql.user;   #此时数据库仅有root 127.0.0.1及root localhost用户

 

#删除数据库

 1 drop database test; 2 show databases; 

注意：删除无密码无用户名的用户，即存在安全隐患，其查看方法如下

 1 select user,host,password from mysql.user 

提示：在数据库中的use mysql相当于命令行中的/application/mysql/data目录，在此目录下创建目录(表)即可在数据库中看到

2.7 ‼常见问题

故障：

 1 ERROR! The server quit without updating PID file 

解决：

       1.权限chown -R mysql.mysql

       2.killall mysqld

       3.重新初始化数据

       4.运行1年了，出问题(非法断电/关机或者非法关闭数据库，如kill -9)

第3章 Mysql体系及原理说明

3.1 Mysql客户端-服务器结构

Mysql是一个典型的C/S服务结构：即client+server(服务器及客户端)两部分

01.mysql自带的客户端程序/application/mysql/bin

 1 mysql

2 mysqladmin

3 mysqldump等

4 API接口：php-mysql 

02.服务端程序mysqld，即二进制程序(后台的守护进程)

单进程多线程的服务结构

3.1.1 数据库连接方式

01.通过TCP/IP方式(用户;密码;IP地址;端口)

 1 mysql -uroot -poldboy123 -h 10.0.0.52 -P 3306 

02.通过socket套接字(用户;密码;socket路径)

 1 mysql -uroot -poldboy123 -S /application/mysql/tmp/mysql.sock 

注意：端口号和socket均为启动完成后自动创建，mysql -uroot -poldboy123默认使用socket方式登录

3.2 Mysql实例

01.mysql在启动过程

a.启动后台守护进程，并生成工作线程xxx

b.预分配内存结构供MySQL处理数据使用

02.Mysql实例：即mysql后台进程+线程结构+预分配的内存结构

说明：在处理能力上，数据库以守护进程mysqld的方式先载入内存，程序等待请求的到来再进行处理；同时也把将来可能用到的内存结构一并分配完成

3.3 Mysqld服务器程序构成

服务器程序构成概览：

服务器程序	功能及作用	备注
连接层	通信协议、连接线程、用户验证合法性
SQL层(核心)	判断语句语法 解析器、查询执行 授权、查询高速缓存 优化器、查询日志记录(记录成功SQL的执行)	二维表逻辑结构 结构化的查询语言(数据库内部的逻辑语言)
存储引擎层	存储/检索数据、通过索引查找数据 数据的不同存储方式 不同的管理方式：事务(增删改)、备份恢复、高级功能(高可用、读写分离架构)	将抽象(逻辑)数据存放到数据文件中去 基于磁盘、内存、网络 InnoDB/MyISAM、MEMORY、NDB

3.3.1 SQL层

3.3.1.1  分类

DDL数据库定义语言

DCL数据库控制语言

DML数据库操作语言

DQL数据查询语言

3.3.2 存储引擎层

01.依赖于存储引擎的功能

 1 存储介质

2 事务功能

3 锁定

4 备份和恢复

5 优化 

02.特殊功能

 1 a.全文搜索 2 b.引用完整性 3 c.空间数据处理 

03.双层处理

上层包括SQL解析器和优化器、下层包含一组存储引擎

04.SQL 层不依赖于存储引擎

引擎不影响SQL处理

3.3.3 总结Mysql的执行过程(连接层->SQL层->存储引擎层)

1)用户通过TCP/IP或者socket请求连接mysql
2)经过连接层判断连接合法性，分配连接相应线程
3)连接层线程将用户需要执行的SQL语句送到SQL层处理
4)SQL层经过语句、语义、语法、SQL类型、权限等判断
5)查询缓存查找，若找到直接返回给用户数据；若未找到则将SQL交给解析器解析，生成执行计划
6)优化器读取执行计划，判断并选择代价最小的执行计划
7)执行计划执行，生成获取数据的方法方案，交由存储引擎层继续处理
8)存储引擎层根据上层提供的方法，获取磁盘数据返回用户
9)此次查询信息会缓存到查询缓存中

3.4 Mysql逻辑结构(数据库内部结构)

出现原因：为了用户能够读懂数据出现的，用来更好的理解数据

即管理数据的一种方式

对象：

库show databases; use mysql;

表show tables;

  记录(行select user,host,password from user、列desc user)

3.4.1 Mysql物理结构

库(目录)、表(多个文件)->行记录MYD、列结构frm、索引MYI

 1 [root@db02 ~]# cd /application/mysql/data/ 2 [root@db02 data]# ls 3 auto.cnf(数据库唯一值) db02.err(错误日志) db02.pid(mysqld进程号) ibdata1 ib_logfile0 ib_logfile1 mysql performance_schema 

注意：上述文件切勿进行物理操作，如rm.mv.vi.vim

3.4.2 Mysql存储方式

01.存储方式

程序文件随数据目录一起存储在服务器安装目录下，执行各种客户机程序、管理程序和实用程序时将创建程序可执行文件和日志文件，首要使用磁盘空间的是数据目录。

A.服务器日志文件和状态文件：
包含有关服务器处理的语句的信息，日志可用于进行故障排除、监视、复制和恢复

B.InnoDB日志文件：
(适用于所有数据库)驻留在数据目录级别

C.InnoDB系统表空间：
包含数据字典、撤消日志和缓冲区；每个数据库在数据目录下均具有单一目录(无论在数据库中创建何种类型的表)

02.存储内容

A.数据文件：
特定于存储引擎的数据文件。这些文件也可能包含元数据或索引信息，具体取决于所使用的存储引擎

B.格式文件(.frm)：
包含每个表和/或视图结构的说明，位于相应的数据库目录中

C.触发器：
与某个表关联并在该表发生特定事件时激活的命名数据库对象

数据目录的位置取决于配置、操作系统、安装包和分发,典型位置是/var/lib/mysql
MySQL在磁盘上存储系统数据库(mysql)，mysql包含诸如用户、特权、插件、帮助列表、事件、时区实现和存储例程之类的信息。

3.4.3 体系结构小结

3.4.3.1  SQL优化相关的理念

解析器：执行计划-数据库执行sql的一种方式

优化器：知道基本规则，直接影响将来选择哪个执行计划

查询缓存：生产环境中，一般会用redis memcached来代替

3.4.3.2  逻辑结构<--->物理结构对应关系

库<=>data即一个目录，为了存放多张表

表<=>data在相应的库中，用多个文件来表示

      myisam表：3文件(.myd数据文件、.myi索引文件、frm表/列结构定义文件)

      innodb：2个/1个，即共享表空间:ibdata1->系统的元数据(基表)-->information_schema视图

                         独立表空间:5.6以后默认的表的存储方式

独立表空间实例

#创建库->切换库->创建表->写入数据->查看列信息

 1 mysql>
 2 create database oldboy;
 3 use oldboy;
 4 create table t1(id int);
 5 insect id from t1;
 6 desc t1;
 7 exit
 8 
 9 [root@db02 data]# cd oldboy/
10 [root@db02 oldboy]# ls
11 db.opt  t1.frm  t1.ibd

3.4.3.3  如何使用磁盘(物理结构)

a.多个库多个目录，目录下存放了多个表的存储文件

b.auto.cnf

  ibdataN

  ib_logfileN

  db02.err

  xx.pid等

 

 此笔记是本人学习摘记整理而成，此为初稿(尚有诸多不完善之处)，原创作品允许转载，转载时请务必以超链接形式标明文章原始出处，作者信息和本声明，否则将追究法律责任。http://www.cnblogs.com/bananaaa/