MYSQL高可用——MHA(概述与安装)

MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本DeNA公司youshimaton（现就职于Facebook公司）开发，是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。在MySQL故障切换过程中，MHA能做到在0~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换的过程中，MHA能在最大程度上保证数据的一致性，以达到真正意义上的高可用。

github地址：https://github.com/yoshinorim

**该软件由两部分组成：MHA Manager（管理节点）和MHA Node（数据节点）。**MHA Manager可以单独部署在一台独立的机器上管理多个master-slave集群，也可以部署在一台slave节点上。MHA Node运行在每台MySQL服务器上，MHA Manager会定时探测集群中的master节点，当master出现故障时，它可以自动将最新数据的slave提升为新的master，然后将所有其他的slave重新指向新的master。整个故障转移过程对应用程序完全透明。

​ 在MHA自动故障切换过程中，MHA试图从宕机的主服务器上保存二进制日志，最大程度的保证数据的不丢失，但这并不总是可行的。例如，如果主服务器硬件故障或无法通过ssh访问，MHA没法保存二进制日志，只进行故障转移而丢失了最新的数据。**使用MySQL 5.5的半同步复制，可以大大降低数据丢失的风险。MHA可以与半同步复制结合起来。**如果只有一个slave已经收到了最新的二进制日志，MHA可以将最新的二进制日志应用于其他所有的slave服务器上，因此可以保证所有节点的数据一致性。

​ 目前MHA主要支持一主多从的架构，**要搭建MHA,要求一个复制集群中必须最少有三台数据库服务器，**一主二从，即一台充当master，一台充当备用master，另外一台充当从库，因为至少需要三台服务器，出于机器成本的考虑，淘宝也在该基础上进行了改造，目前淘宝TMHA已经支持一主一从。（出自：《深入浅出MySQL(第二版)》）

官方介绍：https://code.google.com/p/mysql-master-ha/

 

MHA工作原理总结为以下几条：

    从宕机崩溃的master保存二进制日志事件（binlog events）；
    识别含有最新更新的slave；
    应用差异的中继日志（relay log）到其他slave；
    应用从master保存的二进制日志事件（binlog events）；
    提升一个slave为新master；
    使用其他的slave连接新的master进行复制。

准备好三台服务器

第一台（master1）：10.0.0.46

第二台（master2）： 10.0.0.47

第三台 （slave）： 10.0.0.48

以下的操作在遇到分隔符之前，每台服务器都要相同操作

1、首先更改了这三台的主机名以便方便操作辨识

hostname master  #临时更改
hostnamectl master #更改完需要断开xshell重连
vim /etc/hostname  #直接添加，添加完后重启才会显示

2、每五分钟从阿里云上同步一次时间

echo "*/$ * * * * /usr/sbin/ntpdate ntp1.aliyun.com > /dev/null 2>&1" >>/var/spool/cron/root

3、hosts解析这三台服务器（如果采用第二个免密脚本就不需要这一步）

cat >>/etc/hostsEOF
master1 10.0.0.46
master2  10.0.0.47
master3  10.0.0.48
<<EOF

 4、关闭防火墙和SElinux

systemctl   stop   firewalld.service
systemctl   disable firewalld.service

setenforce 0
sed -i  '/^SELINUX/s#enforcing#disabled#g' /etc/selinux/config

5、互相配置ssh免密码登录

注意：是互相，并且最好不要禁掉密码登录，如果禁了，可能会有问题)

#!/bin/bash
yum -y install sshpass
UserName=root
IPlist=(10.0.0.46 10.0.0.47 10.0.0.48)
#创建密钥
ssh-keygen -t dsa -f ~/.ssh/id_dsa -p "" &>/dev/null
#分发公钥
for i in ${IPlist[*]}
do
        sshpass -p "123456" ssh-copy-id -i ~/.ssh/id_dsa.pub -p 22 -o StrictHostkeyChecking=no $UserName@$ip$i &>/dev/null
done
#这样一来这三台服务器都可以通过ssh相互进行免密连接了

 如果不行就用这个

#!/bin/bash
rpm -q expect
if [ $? -eq 0 ]; then
        echo "已安装"
else
        yum -y install expect
        if [ $? -eq 0 ]; then
                echo "安装成功"
        else
                echo "安装失败"
        fi
fi
#本机是否有ssh密钥 没有则生成
if [ ! -f ~/.ssh/id_rsa ]; then
	echo "请按3次enter健"
	ssh-keygen -t rsa
fi
ssh_expect() {
	expect -c "set timeout -1;
	spawn ssh-copy-id  root@$1

	expect {
		"yes/no" { send -- yes
;exp_continue;}
		"password:" { send -- $2
;exp_continue;}
		eof	
	}";
}

[ -f hosts.txt ] && rm -rf hosts.txt

#定义 hosts.txt
cat > hosts.txt << EOF
	10.0.0.46
	10.0.0.47
        10.0.0.48    
EOF

passwd=123456

for ip in `cat hosts.txt|awk '{print $1}'`
do
	ssh_expect ${ip} ${passwd}
done
 

6、安装mysql，注意要在5.6版本之上

wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm
rpm -ivh mysql-community-release-el7-5.noarch.rpm
yum install mysql-server -y

7、启动mysql并查看，然后修改密码

update mysql.user set password=password('123456') where user='root' and host='localhost';  #此后登录mysql都需要输入账户密码才行
flush privileges;

8、配置主从

--------------------------------------------------------------------------------------------------------------------------------------------------------------------------

--------------------------------------------------------------------------------------------------------------------------------------------------------------------------

主库master1（10.0.0.46）下：

vim /etc/my.cnf

server-id=1

log-bin=mysql-bin

#禁止mysql自动删除relaylog功能

relay_log_purge=0

#mysql5.6已上的特性，开启gtid，必须主从全开

gtid_mode = on

enforce_gtid_consistency = 1

log_slave_updates = 1

#重启mysql

systemctl restart mysql

#创建同步的用户

mysql -uroot -p123456

grant replication slave on *.* to 'rep'@'10.0.0.%' identified by '123456';

flush privileges;

#查看master主库状态
show master status G;

 

#查看GTID状态

show global variables like '%gtid%';

 

主备 master2（10.0.0.47）下：

vim /etc/my.cnf

server-id=2

log-bin=mysql-bin

#禁止mysql自动删除relaylog功能

relay_log_purge=0

#mysql5.6已上的特性，开启gtid，必须主从全开

gtid_mode = on

enforce_gtid_consistency = 1

log_slave_updates = 1

#创建同步的用户并关闭复制
mysql -uroot -p123456
grant replication slave on *.* to 'rep'@'10.0.0.%' identified by '123456';
flush privileges;
stop slave;

#指向主库
change master to 
    -> master_host='10.0.0.46',
    -> master_user='rep',
    -> master_password='123456',
    -> master_log_file='mysql-bin.000007',
    -> master_log_pos=231;

#开启复制
start slave;

#查看状态是否成功

从 slave（10.0.0.47）下：

vim /etc/my.cnf

[mysqld]
server-id=3
log-bin=mysql-bin

#禁止mysql自动删除relaylog工能
relay_log_purge = 0

#mysql5.6已上的特性，开启gtid，必须主从全开
gtid_mode = on
enforce_gtid_consistency = 1
log_slave_updates = 1

#重启mysql
systemctl restart mysql

#创建同步的用户并关闭复制
mysql -uroot -p123456
grant replication slave on *.* to 'rep'@'10.0.0.%' identified by '123456';
flush privileges;
stop slave;
#指向主库
change master to
    -> master_host='10.0.0.46',
    -> master_user='rep',
    -> master_password='123456',
    -> master_log_file='mysql-bin.000007',
    -> master_log_pos=231;


#开启复制
start slave;

#查看状态是否成功
show slave status G;

 

安装MHA(所有节点操作)

这里我是已经准备好了这两个包

安装依赖

yum install perl-DBD-MySQL -y
yum install -y perl-Config-Tiny epel-release perl-Log-Dispatch perl-Parallel-ForkManager perl-Time-HiRes

 授权MHA管理用户

grant all privileges on *.* to mha@'10.0.0.%' identified by 'mha';
flush privileges;

 安装MHA node节点

#上传mha4mysql-node-0.58-0.el7.centos.noarch.rpm
rpm -ivh mha4mysql-node-0.58-0.el7.centos.noarch.rpm

 安装MHA管理节点

选择永远不会切换为主库的节点 10.0.0.48

注意：MHA管理节点不要安装到mysql主库和切换的从库上，否则会在后面出现vip无法漂移的情况。

rpm -ivh mha4mysql-manager-0.58-0.el7.centos.noarch.rpm

附带源码安装方式：

yum  -y install perl-DBD-MySQL perl-Config-Tiny perl-Params-Validate  perl-CPAN perl-devel perl-ExtUtils-CBuilder perl-ExtUtils-MakeMaker

node节点：
tar xf mha4mysql-node-0.58.tar.gz
cd mha4mysql-node-0.58
perl Makefile.PL
make && make install


manager节点：
tar xf mha4mysql-manager-0.58.tar.gz
cd mha4mysql-manager-0.58
perl Makefile.PL
make && make install

#安装完成后会在/usr/local/bin目录下面生成以下脚本文件

 配置MHA

mkdir -p /etc/mha
mkdir -p /var/log/mha/app1

vim /etc/mha/app1.cnf
[server default]
manager_log=/var/log/mha/app1/manager.log
manager_workdir=/var/log/mha/app1
master_binlog_dir=/var/lib/mysql #binlog的目录，如果说miysql的环境不一样，binlog位置不同，每台服务器的binlog的位置写在server标签里面即可
user=mha
password=mha
ping_interval=2
repl_password=123456
repl_user=rep
ssh_user=root

[server1]
hostname=10.0.0.41
port=3306


[server2]
hostname=10.0.0.42
port=3306


[server3]
hostname=10.0.0.43
port=3306
ignore_fail=1  #如果这个节点挂了，mha将不可用，加上这个参数，slave挂了一样可以用
no_master=1  #从不将这台主机转换为master
#candidate_master=1 #如果候选master有延迟的话，relay日志超过100m，failover切换不能成功，加上此参数后会忽略延迟日志大小。
#check_repl_delay=0 #用防止master故障时,切换时slave有延迟,卡在那里切不过来

 配置文件的内容后面不要留空格和注释否则无法正常运行

 

ssh检查检测

masterha_check_ssh --conf=/etc/mha/app1.cnf

主从复制检测

masterha_check_repl --conf=/etc/mha/app1.cnf

 如果出现报错：MySQL Replication Health is NOT OK!（在/etc/my.cnf [mysqld]下添加：skip-name-resolve）

启动MHA

nohup masterha_manager --conf=/etc/mha/app1.cnf  --remove_dead_master_conf --ignore_last_failover < /dev/null >  /var/log/mha/app1/manager.log  2>&1 &

 查看MHA状态

masterha_check_status --conf=/etc/mha/app1.cnf

 

关闭MHA

masterha_stop --conf=/etc/mha/app1.cnf

 从库从新加入新主

grep -i "CHANGE MASTER TO MASTER"  /var/log/mha/app1/manager.log | tail -1

测试MHA故障转移

1、停掉主库10.0.0.46

systemctl stop mysql

 2、查看slave:10.0.0.48的状态，发现Master变成了10.0.0.47

 3、查看新主：10.0.0.47的状态

 

 当作为主库的master1上的MySQL宕机以后，mha通过检测发现master1的mysql，那么会将binlog日志最全的从库立刻提升为主库，而其他的从库会指向新的主库进行再次同步。

4、MHA故障还原

grep "CHANGE MASTER TO MASTER"  /var/log/mha/app1/manager.log | tail -1
systemctl restart mysql
#将master1指向新的主库
mysql -uroot -p123456 -e "CHANGE MASTER TO MASTER_HOST='10.0.0.47',MASTER_PORT=3306, MASTER_AUTO_POSITION=1, MASTER_USER='rep', MASTER_PASSWORD='123456';"
mysql -uroot -p123456 -e 'start slave;'
mysql -uroot -p123456 -e 'show slave statusG;'

 此时需要在MHA的配置文件重新添加标签，因为宕机以后，MHA会自动删除，然后再启动MHA

sed -i -e '/server2/i  
[server1] 
hostname=10.0.0.41 
port=3306 
' /etc/mha/app1.cnf

nohup masterha_manager --conf=/etc/mha/app1.cnf  --remove_dead_master_conf --ignore_last_failover < /dev/null >  /var/log/mha/app1/manager.log2>&1 &

5、配置VIP漂移

IP漂移的两种方式

​ 通过keepalived的方式，管理虚拟IP的漂移。​ 通过MHA自带脚本的方式，管理虚拟IP的漂移 #用mha自带的一个VIP漂移的脚本，哪个提升为主，就飘到那个上面，要根据binlog最新的slave提升。

MHA脚本方式（修改MHA配置文件）

在 /etc/mha/app1.cnf 下添加：

[server default]
master_ip_failover_script=/usr/bin/master_ip_failover

编写脚本 注意：修改脚本中的网卡名和IP地址。

vim /usr/bin/master_ip_failover


#!/usr/bin/env perl

use strict;
use warnings FATAL => 'all';

use Getopt::Long;

my (
    $command,          $ssh_user,        $orig_master_host, $orig_master_ip,
    $orig_master_port, $new_master_host, $new_master_ip,    $new_master_port
);

my $vip = '10.0.0.49/24';
my $key = '1';
my $ssh_start_vip = "/sbin/ifconfig ens33:$key $vip";
my $ssh_stop_vip = "/sbin/ifconfig ens33:$key down";

GetOptions(
    'command=s'          => $command,
    'ssh_user=s'         => $ssh_user,
    'orig_master_host=s' => $orig_master_host,
    'orig_master_ip=s'   => $orig_master_ip,
    'orig_master_port=i' => $orig_master_port,
    'new_master_host=s'  => $new_master_host,
    'new_master_ip=s'    => $new_master_ip,
    'new_master_port=i'  => $new_master_port,
);

exit &main();

sub main {

    print "

IN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===

";

    if ( $command eq "stop" || $command eq "stopssh" ) {

        my $exit_code = 1;
        eval {
            print "Disabling the VIP on old master: $orig_master_host 
";
            &stop_vip();
            $exit_code = 0;
        };
        if ($@) {
            warn "Got Error: $@
";
            exit $exit_code;
        }
        exit $exit_code;
    }
    elsif ( $command eq "start" ) {

        my $exit_code = 10;
        eval {
            print "Enabling the VIP - $vip on the new master - $new_master_host 
";
            &start_vip();
            $exit_code = 0;
        };
        if ($@) {
            warn $@;
            exit $exit_code;
        }
        exit $exit_code;
    }
    elsif ( $command eq "status" ) {
        print "Checking the Status of the script.. OK 
";
        exit 0;
    }
    else {
        &usage();
        exit 1;
    }
}

sub start_vip() {
    `ssh $ssh_user@$new_master_host " $ssh_start_vip "`;
}
sub stop_vip() {
     return 0  unless  ($ssh_user);
    `ssh $ssh_user@$orig_master_host " $ssh_stop_vip "`;
}

sub usage {
    print
    "Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port
";
}

 在加上执行权限 chmod +x /usr/bin/master_ip_failover

手动绑定vip（在主库上绑定）

ifconfig ens33:1 10.0.0.49/24

 

重启MHA

masterha_stop --conf=/etc/mha/app1.cnf
nohup masterha_manager --conf=/etc/mha/app1.cnf  --remove_dead_master_conf --ignore_last_failover < /dev/null >  /var/log/mha/app1/manager.log  2>&1 &

模拟主库宕机 VIP漂移

关闭master2：10.0.0.47的mysql

 可以看见绑定的VIP已经消失了

再去查看master1：10.0.0.46的状态和VIP