一，mysql-mha环境准备
1.1 实验环境：
1.2 软件包
Mha所有包
链接：https://pan.baidu.com/s/19tiKXNEW4C6oWi9OFmcDYA
提取码：be07
1） mha管理节点安装包：
mha4mysql-manager-0.56-0.el6.noarch.rpm
mha4mysql-manager-0.56.tar.gz
2） mha node数据节点安装包：
mha4mysql-node-0.56-0.el6.noarch.rpm
mha4mysql-node-0.56.tar.gz
3） mysql中间件：
Atlas-2.2.1.el6.x86_64.rpm
4） mysql源码安装包
mysql-5.6.17-linux-glibc2.5-x86_64.tar
1.3 主机名映射
echo "192.168.200.69 sl-Mysql-Mater" >> /etc/hosts
echo "192.168.200.79 sl-Mysql-Slave1" >> /etc/hosts
echo "192.168.200.80 sl-Mysql-Slave2" >> /etc/hosts
scp /etc/hosts root@192.168.200.79:/etc/
scp /etc/hosts root@192.168.200.80:/etc/
1.4 关闭selinux和iptables（三台都需要关闭）
vim /etc/sysconfig/selinux
cat /etc/sysconfig/selinux | grep -v "#"
SELINUX=disabledSELINUXTYPE=targeted
setenforce 0
service iptables stop
chkconfig iptables off
二，简介
2.1 作者简介
姓名：松信嘉范
MySQL/Linux专家
2001年索尼公司入职
2001年开始使用oracle
2004年开始使用MySQL
2006年9月-2010年8月MySQL从事顾问
2010年-2012年DeNA
2012年至今Facebook
2.2 软件简介
- MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。在MySQL故障切换过程中，MHA能做到0~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换过程中，MHA能最大程度上保证数据库的一致性，以达到真正意义上的高可用。
- MHA由两部分组成：MHA Manager（管理节点）和MHA Node（数据节点）。MHA Manager可以独立部署在一台独立的机器上管理多个Master-Slave集群，也可以部署在一台Slave上。当Master出现故障时，它可以自动将最新数据的Slave提升为新的Master，然后将所有其他的Slave重新指向新的Master。整个故障转移过程对应程序是完全透明的。
2.3 工作流程
- 从宕机崩溃的master保存二进制日志事件（binlog events）；
- 识别含有最新更新的slave；
- 应用差异的中继日志（relay log）到其他的slave；
- 应用从master保存的二进制日志事件（binlog events）；
- 提升一个slave为新的master；
- 使其他的slave连接新的master进行复制；
1，复制主库binlog日志出来（因为还有没来的及复制到从库的二进制日志呢）
2，找出relaylog日志最全的从库 （每个从库复制的速度是有差异的）
3，将最全的relaylog日志在所有从库中同步（第一次数据同步）
4，将之前最全的那个从库提升为主库
5，将复制出来的binlog日志，放到新提升的主库里
6，其他所有从库重新指向新提升的主库，继续主从复制。
2.5 MHA工具介绍
MHA软件由两部分组成，Manager工具包和Node工具包，具体的说明如下
#Manager工具包主要包括以下几个工具masterha_check_ssh #检查MHA的SSH配置状况masterha_check_repl #检查MySQL复制状况masterha_check_status #检测当前MHA运行状态masterha_master_monitor #检测master是否宕机masterha_manger #启动MHAmasterha_master_switch #控制故障转移（自动或者手动）masterha_conf_host #添加或删除配置的server信息masterha_secondary_check #试图建立TCP连接从远程服务器masterha_stop #停止MHA#Node工具包主要包括以下几个工具save_binary_logs #保存和复制master的二进制日志apply_diff_relay_logs #识别差异的中继日志事件filter_mysqlbinlog #去除不必要的ROLLBACK事件purge_relay_logs #清除中继日志
三，mysql环境准备
3.1 环境检查(三台都需要有)
3.2 安装mysql
3.2.1 安装包准备
上方有所有软件包得下载链接
3.2.2 安装（3台都装）
yum -y install ncurses-devel libaio
tar xf mysql-5.6.17-linux-glibc2.5-x86_64.tar.gz -C /usr/local/
ln -s /usr/local/mysql-5.6.17-linux-glibc2.5-x86_64 /usr/local/mysql
useradd mysql -s /sbin/nologin -M
/usr/local/mysql/scripts/mysql_install_db --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data/
/bin/cp /usr/local/mysql/support-files/my-default.cnf /etc/my.cnf
/bin/cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysqld
ln -s /usr/local/mysql/bin/* /usr/local/bin/
which mysqladmin
3.2.3 加入开机自启动并启动mysql
chkconfig mysqld on
chkconfig --list mysqld
/etc/init.d/mysqld start
3.2.4 配置密码
mysqladmin -uroot password 'linyaonie'
mysql -plinyaonie
四，配置基于GTID的主从复制
4.1 先决条件
- 主库和从库都要开启binlog
- 主库和从库server-id不同
- 都要有主从复制用户（一致的）
4.2 主库操作（Mysql-Master）
4.2.1 修改主库配置文件/etc/my.cnf
vim /etc/my.cnf
cat /etc/my.cnf
[client]socket = /usr/local/mysql/data/mysql.sock[mysqld]lower_case_table_names = 1default-storage-engine = InnoDBport = 3306datadir = /usr/local/mysql/datacharacter-set-server = utf8socket = /usr/local/mysql/data/mysql.socklog_bin = mysql-bin #开启binlog日志server_id = 1 #设置server_idinnodb_buffer_pool_size = 200Mslave-parallel-workers = 8thread_cache_size = 600back_log = 600slave_net_timeout = 60max_binlog_size = 512Mkey_buffer_size = 8Mquery_cache_size = 64Mjoin_buffer_size = 2Msort_buffer_size = 2Mquery_cache_type = 1thread_stack = 192K
重启动MySQL服务
/etc/init.d/mysqld restart
把配置文件复制另外两台从库上
scp /etc/my.cnf root@192.168.200.79:/etc/
scp /etc/my.cnf root@192.168.200.80:/etc/
4.2.2 登陆MySQL删除不必要的用户并创建主从复制用户
删除不必要的用户(可删可不删)
mysql -plinyaonie
select user,host from mysql.user;
drop user root@'127.0.0.1';
drop user root@'::1';
drop user ' '@'localhost';
drop user ' '@'sl-mysql-master';
创建主从复制用户
mysql -plinyaonie
grant replication slave on *.* to rep@'192.168.200.%' identified by '666666';select user,host from mysql.user;
show grants for rep@'192.168.200.%';
4.3 从库操作(Mysql-Slave1和Mysql-Slave2)
4.3.1 修改Mysql-Slave1配置文件
vim /etc/my.cnf
cat /etc/my.cnf
#修改mysql-Slave1配置文件(和mysql-master配置文件一致)#只需要修改server-id = 5选项[client]socket = /usr/local/mysql/data/mysql.sock[mysqld]lower_case_table_names = 1default-storage-engine = InnoDBport = 3306datadir = /usr/local/mysql/datacharacter-set-server = utf8socket = /usr/local/mysql/data/mysql.socklog_bin = mysql-bin #从binlog也要打开server_id = 5 #仅需修改此项innodb_buffer_pool_size = 200Mslave-parallel-workers = 8thread_cache_size = 600back_log = 600slave_net_timeout = 60max_binlog_size = 512Mkey_buffer_size = 8Mquery_cache_size = 64Mjoin_buffer_size = 2Msort_buffer_size = 2Mquery_cache_type = 1thread_stack = 192K
重启Mysql-Slave1数据库
/etc/init.d/mysqld restart
修改Mysql-Slave2配置文件
vim /etc/my.cnf
cat /etc/my.cnf
#修改mysql-slave2配置文件(和mysql-master配置文件一致)#只需要修改server-id = 10选项[client]socket = /usr/local/mysql/data/mysql.sock[mysqld]lower_case_table_names = 1default-storage-engine = InnoDBport = 3306datadir = /usr/local/mysql/datacharacter-set-server = utf8socket = /usr/local/mysql/data/mysql.socklog_bin = mysql-bin #从binlog也要打开server_id = 10 #只需修改此项innodb_buffer_pool_size = 200Mslave-parallel-workers = 8thread_cache_size = 600back_log = 600slave_net_timeout = 60max_binlog_size = 512Mkey_buffer_size = 8Mquery_cache_size = 64Mjoin_buffer_size = 2Msort_buffer_size = 2Mquery_cache_type = 1thread_stack = 192K
重启Mysql-Slave2数据库
/etc/init.d/mysqld restart
特别提示
show master status;
在以往如果是基于binlog日志的主从复制，则必须要记住主库的master状态信息。
但是在MySQL5.6版本里多了一个Gtid的功能，可以自动记录主从复制位置点的信息，并在日志中输出出来。
4.4 开启GTID(mysql-master)
没开启之前先看一下GTID状态
mysql -plinyaonie
show global variables like '%gtid%';
编辑mysql-master配置文件（主库从库都需要修改）
vim /etc/my.cnf
在[mysqld]下面添加
gtid_mode = ONlog_slave_updatesenforce_gtid_consistency
mysql-master,mysql-slave1,mysql-slave2都需要加入上行代码
mysql-master配置文件
[client]socket = /usr/local/mysql/data/mysql.sock[mysqld]gtid_mode = ONlog_slave_updatesenforce_gtid_consistencylower_case_table_names = 1default-storage-engine = InnoDBport = 3306datadir = /usr/local/mysql/datacharacter-set-server = utf8socket = /usr/local/mysql/data/mysql.socklog_bin = mysql-binserver_id = 1innodb_buffer_pool_size = 200Mslave-parallel-workers = 8thread_cache_size = 600back_log = 600slave_net_timeout = 60max_binlog_size = 512Mkey_buffer_size = 8Mquery_cache_size = 64Mjoin_buffer_size = 2Msort_buffer_size = 2Mquery_cache_type = 1thread_stack = 192K
mysql-slave1配置文件
[client]socket = /usr/local/mysql/data/mysql.sock[mysqld]gtid_mode = ONlog_slave_updatesenforce_gtid_consistencylower_case_table_names = 1default-storage-engine = InnoDBport = 3306datadir = /usr/local/mysql/datacharacter-set-server = utf8socket = /usr/local/mysql/data/mysql.socklog_bin = mysql-binserver_id = 5innodb_buffer_pool_size = 200Mslave-parallel-workers = 8thread_cache_size = 600back_log = 600slave_net_timeout = 60max_binlog_size = 512Mkey_buffer_size = 8Mquery_cache_size = 64Mjoin_buffer_size = 2Msort_buffer_size = 2Mquery_cache_type = 1thread_stack = 192K
mysql-slave2配置文件
[client]socket = /usr/local/mysql/data/mysql.sock[mysqld]gtid_mode = ONlog_slave_updatesenforce_gtid_consistencylower_case_table_names = 1default-storage-engine = InnoDBport = 3306datadir = /usr/local/mysql/datacharacter-set-server = utf8socket = /usr/local/mysql/data/mysql.socklog_bin = mysql-binserver_id = 10innodb_buffer_pool_size = 200Mslave-parallel-workers = 8thread_cache_size = 600back_log = 600slave_net_timeout = 60max_binlog_size = 512Mkey_buffer_size = 8Mquery_cache_size = 64Mjoin_buffer_size = 2Msort_buffer_size = 2Mquery_cache_type = 1thread_stack = 192K
修改完配置文件以后重启动三台数据库
/etc/init.d/mysqld restart
再次查看GTID状态
mysql -plinyaonie
show global variables like '%gtid%';
enforce_gtid_consistency | ON | #执行GTID一致gtid_mode | ON | #开启GTID模块
再次提示
主库从库都必须要开启GTID，否则在做主从复制的时候就会报错
4.5 配置主从复制并开启主从复制功能(mysql-slave1,mysql-slave2)
mysql -plinyaonie
change master to master_host='192.168.200.69',master_user='rep',master_password='666666',master_auto_position=1;
mysql> change master to-> master_host='192.168.200.69', #主库IP-> master_user='rep', #主库复制用户-> master_password='666666', #主库复制用密码-> master_auto_position=1; #GTID位置点（自动追踪需要同步的position）
start slave; #开启主从同步功能
show slave statusG
Slave_IO_Running: Yes #此项yes代表成功Slave_SQL_Running: Yes #此项yes代表成功
两个从库mysql-slave1和mysql-slave1都执行以上步骤
4.7 什么是GTID
GTID（Global Transaction）全局事务标识符：是一个唯一的标识符，它创建并与源服务器（主）上提交的每个事务相关联。此标识符不仅对其发起的服务器是唯一的，而且在给定复制设置中的所有服务器上都是唯一的。所有交易和所有GTID之间都有1对1的映射。
GTID实际上是由UUID+TID组成的。其中UUID是一个MySQL实例的唯一标识。TID代表了该实例上已经提交的事务数量，并且随着事务提交单调递增。
下面是一个GTID的具体形式：
3E11FA47-71CA-11E1-9E33-C80AA9429562:23
4.8 GTID的新特性
（1）支持多线程复制：事实上是针对每个database开启相应的独立线程，即每个库有一个单独的（sql thread）
（2）支持启用GTID，在配置主从复制，传统的方式里，你需要找到binlog和POS点，然后change master to 指向。在mysql5.6里，无须再知道binlog和POS点，只需要知道master的IP/端口/账号密码即可，因为同步复制是自动的，MySQL通过内部机制GTID自动找点同步。
（3）基于Row复制只保存改变的列，大大节省磁盘空间，网络，内存等
（4）支持把Master和Slave的相关信息记录在Table中；原来是记录在文件里，现在则记录在表里，增强可用性
（5）支持延迟复制
4.9 开启方法
#mysql配置文件：[mysqld]gtid_mode=ONenforce_gtid_consistency#查看show global variables like ‘%gtid%’；
4.10 从库设置临时禁用relay log功能（mysql-slave1,mysql-slave2）
登陆从库
mysql -uroot -plinyaonie
临时禁用自动删除relay log功能
set global relay_log_purge = 0;
设置只读
set global read_only=1;
4.10 从库设置永久禁用relay log功能（mysql-slave1,mysql-slave2）
vim /etc/my.cnf
relay_log_purge = 0 --->永久禁用自动删除relay log功能
mysql-slave1配置文件
[client]socket = /usr/local/mysql/data/mysql.sock[mysqld]relay_log_purge = 0gtid_mode = ONlog_slave_updatesenforce_gtid_consistencylower_case_table_names = 1default-storage-engine = InnoDBport = 3306datadir = /usr/local/mysql/datacharacter-set-server = utf8socket = /usr/local/mysql/data/mysql.socklog_bin = mysql-binserver_id = 5innodb_buffer_pool_size = 200Mslave-parallel-workers = 8thread_cache_size = 600back_log = 600slave_net_timeout = 60max_binlog_size = 512Mkey_buffer_size = 8Mquery_cache_size = 64Mjoin_buffer_size = 2Msort_buffer_size = 2Mquery_cache_type = 1thread_stack = 192K
mysql-slave2配置文件
[client]socket = /usr/local/mysql/data/mysql.sock[mysqld]relay_log_purge = 0gtid_mode = ONlog_slave_updatesenforce_gtid_consistencylower_case_table_names = 1default-storage-engine = InnoDBport = 3306datadir = /usr/local/mysql/datacharacter-set-server = utf8socket = /usr/local/mysql/data/mysql.socklog_bin = mysql-binserver_id = 10innodb_buffer_pool_size = 200Mslave-parallel-workers = 8thread_cache_size = 600back_log = 600slave_net_timeout = 60max_binlog_size = 512Mkey_buffer_size = 8Mquery_cache_size = 64Mjoin_buffer_size = 2Msort_buffer_size = 2Mquery_cache_type = 1thread_stack = 192K
修改完配置文件，重启动mysql服务（mysql-slave1,mysql-slave2）
/etc/init.d/mysqld restart
五，部署MHA
5.1 环境准备（所有节点mysql-master,mysql-slave1,mysql-slave2）
光盘安装依赖包
yum -y install perl-DBD-MySQL
安装mha4mysql-node-0.56-0.el6.noarch.rpm
ls
rpm -ivh mha4mysql-node-0.56-0.el6.noarch.rpm
mysql -plinyaonie
grant all privileges on *.* to mha@'192.168.200.%' identified by '666666';select user,host from mysql.user where user='mha';
flush privileges;
| mha | 192.168.200.% | #主库上创建从库会自动复制
特别提示
3台MySQL都需要安装mha4mysql-node-0.56-0.el6.noarch.rpm
5.2 部署管理节点（mha-manager）
5.2.1 在mysql-slave2上部署管理节点
使用阿里云源+epel源
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repo
wget -O /etc/yum.repos.d/epel-6.repo http://mirrors.aliyun.com/repo/epel-6.repo
安装manager依赖包（需要公网源）
yum -y install perl-Config-Tiny epel-release perl-Log-Dispatch perl-Parallel-ForkManager perl-Time-HiRes
rpm -qa perl-Config-Tiny epel-release perl-Log-Dispatch perl-Parallel-ForkManager perl-Time-HiRes
安装manager包
ls
rpm -ivh mha4mysql-manager-0.56-0.el6.noarch.rpm
创建配置文件目录
mkdir -p /etc/mha
创建日志目录
mkdir -p /var/log/mha/mha1
创建配置文件（默认没有）
cd /etc/mha/
ls
vim mha1.cnf
cat mha1.cnf
[server default]manager_log=/var/log/mha/mha1/managermanager_workdir=/var/log/mha/mha1master_binlog_dir=/usr/local/mysql/datapassword=666666ping_interval=2repl_password=666666repl_user=repssh_user=rootuser=mha[server1]hostname=192.168.200.69port=3306[server2]hostname=192.168.200.79port=3306[server3]hostname=192.168.200.80port=3306
配置文件详解
[server default]manager_log=/var/log/mha/mha1/manager #manager管理日志存放路径manager_workdir=/var/log/mha/mha1 #manager管理日志的目录路径master_binlog_dir=/usr/local/mysql/data #binlog日志的存放路径user=mha #管理账户password=666666 #管理账户密码ping_interval=2 #存活检查的间隔时间repl_user=rep #主从复制的授权账户repl_password=666666 #主从复制的授权账户密码ssh_user=root #用于ssh连接的账户[server1]hostname=192.168.200.69port=3306[server2]#candidate_master=1 #此条暂时注释掉（后面解释）#check_repl_delay=0 #此条暂时注释掉（后面解释）hostname=192.168.200.79port=3306[server3]hostname=192.168.200.80port=3306
特别提示
以上配置文件内容里每行的最后不要留有空格，因此，不能复制的呦
两条注释参数特别说明
参数：candidate_master=1
解释：设置为候选master，如果设置该参数以后，发生主从切换以后会将此从库提升为主库，即使这个主库不是集群中事件最新的slave
参数：check_repl_delay=0
解释：默认情况下如果一个slave落后master 100M的relay logs 的话，MHA将不会选择该slave作为一个新的master，因为对于这个slave的恢复需要花费很长时间，通过设置check_repl_delay=0,MHA触发切换在选择一个新的master的时候将会忽略复制延时，这个参数对于设置了candidate_master=1的主机非常有用，因为这个候选主在切换的过程中一定是新的master
5.3 配置ssh信任（所有节点mysql-master,mysql-slave1,mysql-slave2）
创建密钥对(三台都需要创建)
ssh-keygen -t dsa -P "" -f ~/.ssh/id_dsa >/dev/null 2>&1
发送mysql-master公钥，包括自己
ssh-copy-id -i /root/.ssh/id_dsa.pub root@192.168.200.69
ssh-copy-id -i /root/.ssh/id_dsa.pub root@192.168.200.79
ssh-copy-id -i /root/.ssh/id_dsa.pub root@192.168.200.80
发送mysql-slave1公钥，包括自己
ssh-copy-id -i /root/.ssh/id_dsa.pub root@192.168.200.69
ssh-copy-id -i /root/.ssh/id_dsa.pub root@192.168.200.79
ssh-copy-id -i /root/.ssh/id_dsa.pub root@192.168.200.80
发送mysql-slave2公钥，包括自己
ssh-copy-id -i /root/.ssh/id_dsa.pub root@192.168.200.69
ssh-copy-id -i /root/.ssh/id_dsa.pub root@192.168.200.79
ssh-copy-id -i /root/.ssh/id_dsa.pub root@192.168.200.80
5.4 启动测试
5.4.1 ssh检查检测(mysql-slave2)
which masterha_check_ssh
masterha_check_ssh --conf=/etc/mha/mha1.cnf
masterha_check_ssh --conf=/etc/mha/mha1.cnf #ssh检查命令All SSH connection tests passed successfully. #出现这个就表示成功
5.4.2 主从复制检测
错误的主从复制检测
masterha_check_repl --conf=/etc/mha/mha1.cnf
如果不出意外，检测结果会是下面的样子
出现这个错误代表mysql-slave1和mysql-slave2里没有主从复制用户的原因
因此在mysql-slave1和mysql-slave2上添加主从复制的用户即可。
mysql -plinyaonie
grant replication slave on *.* to rep@'192.168.200.%' identified by '666666';
再次检查如下图所示
masterha_check_repl --conf=/etc/mha/mha1.cnf
5.5 启动MHA（mysql-slave2）
启动
which nohup
nohup masterha_manager --conf=/etc/mha/mha1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/mha1/manager.log 2>&1 &
ps -ef | grep perl | grep -v grep
说明
nohup:启动命令
--conf：指定配置文件位置
--remove_dead_master_conf：如果有master down了，就去掉配置文件里该master的部分。
5.6 进行mha自动切换master的测试
（1）登陆mysql-slave1(192.168.200.79)查看信息状态
mysql -plinyaonie
show slave statusG
（2）停掉mysql-master(192.168.200.69)上的MySQL服务
/etc/init.d/mysqld stop
（3）查看mysql-slave2上的MySQL从库同步状态
mysql -plinyaonie -e 'show slave statusG'
Master_Host: 192.168.200.79 #现在的主库IPMaster_Log_File: mysql-bin.000004 #binlog日志Read_Master_Log_Pos: 231 #binlog日志位置
（4）查看mysql-slave1上的MySQL，主库同步状态。
mysql -plinyaonie -e 'show master status'
（5）查看mysql-slave2上的mha进程状态
ps -ef | grep perl | grep -v grep --->查询发现mha进程已经没了
（6）查看mha配置文件信息
cat /etc/mha/mha1.cnf --->[server1]模块的信息此时已经消失了
说明
当作为主库的mysql-master上的MySQL宕机以后，mha通过检测发现mysql-master宕机，那么会将binlog日志最全的从库立刻提升为主库，而其他的从库会指向新的主库进行再次同步。
此处需要进行简单的mha日志记录的讲解：/var/log/mha/mha1/manager
5.7 进行mha的故障还原测试
由于mysql-master的MySQL服务宕机，因此mha将mysql-slave1提升为了主库。因此，我们需要将宕机的mysql-master的MySQL服务启动，然后作为主库mysql-slave1的从库。
（1）将故障宕机的mysql-master的MySQL服务启动并授权进行从同步
/etc/init.d/mysqld start
mysql -plinyaonie
CHANGE MASTER TO MASTER_HOST='192.168.200.79', MASTER_PORT=3306, MASTER_AUTO_POSITION=1, MASTER_USER='rep', MASTER_PASSWORD='666666';
start slave;
show slave statusG #查看从同步状态
（2）将mha配置文件里缺失的部分补全
vim /etc/mha/mha1.cnf
cat /etc/mha/mha1.cnf
[server default]manager_log=/var/log/mha/mha1/managermanager_workdir=/var/log/mha/mha1master_binlog_dir=/usr/local/mysql/datapassword=666666ping_interval=2repl_password=666666repl_user=repssh_user=rootuser=mha[server1]hostname=192.168.200.69port=3306[server2]hostname=192.168.200.79port=3306[server3]hostname=192.168.200.80port=3306
（3）启动mha进程
nohup masterha_manager --conf=/etc/mha/mha1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/mha1/manager.log 2>&1 &
ps -ef | grep perl | grep -v grep
（4）停掉mysql-slave1上的MySQL服务
/etc/init.d/mysqld stop
（5）查看mysql-slave2上的主从同步状态：
mysql -plinyaonie -e 'show slave statusG'
Master_Host: 192.168.200.69 #此时的主库IP切换回了mysql-master
（6）启动mysql-slave1上的MySQL服务
/etc/init.d/mysqld start
mysql -plinyaonie
CHANGE MASTER TO MASTER_HOST='192.168.200.69', MASTER_PORT=3306, MASTER_AUTO_POSITION=1, MASTER_USER='rep', MASTER_PASSWORD='666666';
start slave;
show slave statusG
（7）再次补全mha配置文件后
vim /etc/mha/mha1.cnf
cat /etc/mha/mha1.cnf
[server default]manager_log=/var/log/mha/mha1/managermanager_workdir=/var/log/mha/mha1master_binlog_dir=/usr/local/mysql/datapassword=666666ping_interval=2repl_password=666666repl_user=repssh_user=rootuser=mha[server1]hostname=192.168.200.69port=3306[server2]hostname=192.168.200.79port=3306[server3]hostname=192.168.200.80port=3306
（8）启动mha进程
nohup masterha_manager --conf=/etc/mha/mha1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/mha1/manager.log 2>&1 &
ps -ef | grep perl | grep -v grep
此时已经还原初始状态（一主俩从）