Mysql高可用

第1章 MySQL 高可用

主从高可用要求

1.监控所有节点

2.failover  vip通知客户端

3.数据补偿功能

1.1 MHA简介

1、三台mysql独立节点实例，开启1主2从GTID复制结构

2、关闭各节点relay-log自动删除功能

3、各节点部署node工具包及依赖包

4、选择其中一个从节点进行部署manager工具包

5、各节点ssh秘钥互信配置

6、配置manager节点配置文件（注意在数据库中添加mha管理用户和密码）

7、做ssh互信检查和主从状态检查

8、开启MHA功能

-----------------

1.1.1 介绍

实现原理：MHA 是由日本Mysql 专家用Perl 写的一套Mysql 故障切换方案以保障数据库的高可用性，它的功能是能在0-30s 之内实现主Mysql 故障转移（failover），MHA 故障转移可以很好的帮我们解决从库数据的一致性问题，同时最大化挽回故障发生后的数据。MHA 里有两个角色一个是node 节点 一个是manager 节点，要实现这个MHA，必须最少要三台数据库服务器，一主多备，即一台充当master，一台充当master 的备份机，另外一台是从属机，这里实验为了实现更好的效果使用四台机器，需要说明的是一旦主服务器宕机，备份机即开始充当master 提供服务，如果主服务器上线也不会再成为master 了，因为如果这样数据库的一致性就被改变了。

该软件由两部分组成：MHA Manager（管理节点）和MHA Node（数据节点）。MHA Manager 可以单独部署在一台独立的机器上管理多个master-slave 集群，也可以部署在一台slave 节点上。MHA Node 运行在每台MySQL 服务器上，MHA Manager 会定时探测集群中的master 节点，当master 出现故障时，它可以自动将最新数据的slave 提升为新的master，然后将所有其他的slave 重新指向新的master。整个故障转移过程对应用程序完全透明。在MHA 自动故障切换过程中，MHA 试图从宕机的主服务器上保存二进制日志，最大程度的保证数据的不丢失，但这并不总是可行的。例如，如果主服务器硬件故障或无法通过ssh 访问，MHA 没法保存二进制日志，只进行故障转移而丢失了最新的数据。使用MySQL 5.5 的半同步复制，可以大大降低数据丢失的风险。MHA 可以与半同步复制结合起来。如果只有一个slave 已经收到了最新的二进制日志，MHA 可以将最新的二进制日志应用于其他所有的slave服务器上，因此可以保证所有节点的数据一致性。

目前MHA 主要支持一主多从的架构，要搭建MHA,要求一个复制集群中必须最少有三台数据库服务器，一主二从，即一台充当master，一台充当备用master，另外一台充当从库，因为至少需要三台服务器，出于机器成本的考虑，淘宝也在该基础上进行了改造，目前淘宝TMHA 已经支持一主一从。

官方介绍：https://code.google.com/p/mysql-master-ha/

1.1.2 MHA工作流程

1．从宕机崩溃的master 保存二进制日志事件（binlog events）;

2．识别含有最新更新的slave；

3．应用差异的中继日志（relay log）到其他的slave；

4．应用从master 保存的二进制日志事件（binlog events）；

5．提升一个slave 为新的master；

6．使其他的slave 连接新的master 进行复制；

1.1.3 MHA架构图

1.1.4 MHA工具介绍

主要包括以下几个工具：

1．masterha_check_ssh 检查MHA 的SSH 配置状况

2．masterha_check_repl 检查MySQL 复制状况

3．masterha_manger 启动MHA

4．masterha_check_status 检测当前MHA 运行状态

5．masterha_master_monitor 检测master 是否宕机

6．masterha_master_switch 控制故障转移（自动或者手动）

7．masterha_conf_host 添加或删除配置的server 信息

Node 工具包

这些工具通常由MHA Manager 的脚本触发，无需人为操作）主要包括以下几个工具：

save_binary_logs 保存和复制master 的二进制日志

apply_diff_relay_logs 识别差异的中继日志事件并将其差异的事件应用于其他的slave

filter_mysqlbinlog 去除不必要的ROLLBACK 事件（MHA 已不再使用这个工具）

purge_relay_logs 清除中继日志（不会阻塞SQL 线程）

注意：

为了尽可能的减少主库硬件损坏宕机造成的数据丢失，因此在配置MHA 的同时建议配置成MySQL 5.5 的半同步复制。关于半同步复制原理各位自己进行查阅。（不是必须）

1.1.5 MHA优点

²  自动故障转移快

²  主库崩溃不存在数据一致性的问题

²  不需要对当前mysql环境做重大修改

²  不需要添加额外的服务器（仅一台master就可以管理上百个replication）

²  性能优秀，可工作在本同步复制和异步复制，当监控mysql状态时只需要每隔N秒向master发送ping包（默认3秒），所以对性能没有影响

²  只要replication支持的存储引擎，MHA都支持不会局限于innodb引擎。

1.2 配置主从GTID

1.2.1 先决条件

²  主库和从库都要开启binlog

²  主库和从库server-id不同

²  要有主从复制用户

1.2.2 修改配置文件开启GTID

主库：

log_bin=mysql-bin

server_id = 1
gtid-mode=on                        --启用gtid类型，否则就是普通的复制架构

enforce-gtid-consistency=true       --强制GTID的一致性

log-slave-updates=1                 --slave更新是否记入日志

 

slave01：

log_bin=mysql-bin

server_id = 2

gtid-mode=on

enforce-gtid-consistency=true

log-slave-updates
slave02:

log_bin=mysql-bin

server_id = 3
gtid-mode=on

enforce-gtid-consistency=true

log-slave-updates

1.2.3 数据库配置

主库：创建主从复制用户

grant replication slave  on *.* to repl@'10.0.0.%' identified by '123';

从库开启

change master to master_host='10.0.0.51',master_user='repl',master_password='123' ,MASTER_AUTO_POSITION=1;

start slave;

 

mysql> show slave statusG

1.2.4 主从库设置

mysql> set global relay_log_purge = 0;#禁用自动删除relaylog
设置从库只读（不能再主库执行）
set global read_only=1;
在配置文件添加禁用自动删除relaylog功能
relay_log_purge = 0

1.3 部署MHA

1.3.1 基础环境

所有节点安装

root@mysql-db01 ~]# yum install perl-DBD-MySQL -y

rpm -ivh mha4mysql-node-0.56-0.el6.noarch.rpm

创建管理用户：

grant all privileges on *.* to mha@'10.0.0.5%' identified by 'mha';#主库执行从库也就也有了

命令软链接：三台都需要操作

[root@mysql-db01 tools]# ln -s /application/mysql/bin/mysqlbinlog /usr/bin/mysqlbinlog

[root@mysql-db01 tools]#  ln -s /application/mysql/bin/mysql /usr/bin/mysql

1.3.2 部署管理节点（mha-master）

统一安装在10.0.0.53机器上（可以安装在一台从库，或者其他一台机器上不能使主库）

wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-6.repo

安装依赖
yum install -y perl-Config-Tiny epel-release perl-Log-Dispatch perl-Parallel-ForkManager perl-Time-HiRes
[root@mysql-db03 tools]# rpm -ivh mha4mysql-manager-0.56-0.el6.noarch.rpm

创建日志和配置文件目录

[root@mysql-db03 tools]# mkdir -p /var/log/mha/app1   可以管理多套主从复制

[root@mysql-db03 tools]#  mkdir -p /etc/mha

创建配置文件(不需要的配置不要留着，注释没用,切换后会重写)

[root@mysql-db03 ~]# vim /etc/mha/app1.cnf
[server default]#全局主配置文件

 

[server default]                        
manager_log=/var/log/mha/app1/manager
manager_workdir=/var/log/mha/app1
master_binlog_dir=/data/mysql
user=mha
password=mha
ping_interval=2
repl_password=123
repl_user=repl
ssh_user=root

[server1]
hostname=10.0.0.51
port=3306

[server2]
hostname=10.0.0.52
port=3306

[server3]
hostname=10.0.0.53
port=3306

1.3.3 配置SSH信任（所有节点）

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa >/dev/null 2>&1

ssh-copy-id -i /root/.ssh/id_dsa.pub root@10.0.0.51

ssh-copy-id -i /root/.ssh/id_dsa.pub root@10.0.0.52

ssh-copy-id -i /root/.ssh/id_dsa.pub root@10.0.0.53

1.3.4 启动测试

[root@mysql-db03 ~]# masterha_check_ssh --conf=/etc/mha/app1.cnf  检测ssh

Sun Dec 10 12:35:17 2017 - [warning] Global configuration file /etc/masterha_default.cnf not found. Skipping.

Sun Dec 10 12:35:17 2017 - [info] Reading application default configuration from /etc/mha/app1.cnf..

Sun Dec 10 12:35:17 2017 - [info] Reading server configuration from /etc/mha/app1.cnf..

Sun Dec 10 12:35:17 2017 - [info] Starting SSH connection tests..

Sun Dec 10 12:35:18 2017 - [debug]

Sun Dec 10 12:35:18 2017 - [debug]  Connecting via SSH from root@10.0.0.51(10.0.0.51:22) to root@10.0.0.52(10.0.0.52:22)..

Sun Dec 10 12:35:18 2017 - [debug]   ok.

Sun Dec 10 12:35:18 2017 - [debug]  Connecting via SSH from root@10.0.0.51(10.0.0.51:22) to root@10.0.0.53(10.0.0.53:22)..

Sun Dec 10 12:35:18 2017 - [debug]   ok.

Sun Dec 10 12:35:19 2017 - [debug]

Sun Dec 10 12:35:18 2017 - [debug]  Connecting via SSH from root@10.0.0.52(10.0.0.52:22) to root@10.0.0.51(10.0.0.51:22)..

Sun Dec 10 12:35:18 2017 - [debug]   ok.

Sun Dec 10 12:35:18 2017 - [debug]  Connecting via SSH from root@10.0.0.52(10.0.0.52:22) to root@10.0.0.53(10.0.0.53:22)..

Sun Dec 10 12:35:18 2017 - [debug]   ok.

Sun Dec 10 12:35:19 2017 - [debug]

Sun Dec 10 12:35:19 2017 - [debug]  Connecting via SSH from root@10.0.0.53(10.0.0.53:22) to root@10.0.0.51(10.0.0.51:22)..

Sun Dec 10 12:35:19 2017 - [debug]   ok.

Sun Dec 10 12:35:19 2017 - [debug]  Connecting via SSH from root@10.0.0.53(10.0.0.53:22) to root@10.0.0.52(10.0.0.52:22)..

Sun Dec 10 12:35:19 2017 - [debug]   ok.

Sun Dec 10 12:35:19 2017 - [info] All SSH connection tests passed successfully.

1.3.5 检测主从

[root@mysql-db03 ~]# masterha_check_repl --conf=/etc/mha/app1.cnf 检测主从

Sun Dec 10 12:45:09 2017 - [warning] Global configuration file /etc/masterha_default.cnf not found. Skipping.

Sun Dec 10 12:45:09 2017 - [info] Reading application default configuration from /etc/mha/app1.cnf..

………………………

 

MySQL Replication Health is OK.

[root@mysql-db03 ~]#

1.3.6 启动mha

[root@mysql-db03 ~]# nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &

[1] 2907

--remove_dead_master_conf #指定删除down机的server标签
--ignore_last_failover#忽略上一次切换
自动切换一次需要在八个小时之后才会切换

[root@mysql-db03 ~]#
[root@mysql-db03 ~]# masterha_check_status --conf=/etc/mha/app1.cnf

app1 (pid:2907) is running(0:PING_OK), master:10.0.0.51

[root@mysql-db03 ~]#

1.3.7 停止MHA

masterha_stop --conf=/etc/mha/app1.cnf

1.4 配置VIP漂移

[root@mysql-db03 ~]# vim  /etc/mha/app1.cnf
[server default]

master_ip_failover_script=/usr/local/bin/master_ip_failover

将脚本添加到文件‘

cd /usr/local/bin/

mv  /server/tools/master_ip_failover   /usr/local/bin/  
[root@mysql-db03 bin]# chmod +x master_ip_failover
[root@mysql-db03 bin]# dos2unix master_ip_failover

dos2unix: converting file master_ip_failover to UNIX format ...

内容

vim  /usr/local/bin/master_ip_failover
添加内容。。。。
my $vip = '10.0.0.55/24';
my $key = '1';
my $ssh_start_vip = "/sbin/ifconfig eth0:$key $vip";
my $ssh_stop_vip = "/sbin/ifconfig eth0:$key down";

重启mha

[root@mysql-db03 ~]# masterha_stop --conf=/etc/mha/app1.cnf 停止

Stopped app1 successfully.

[1]+  Exit 1 nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &

[root@mysql-db03 ~]#

[root@mysql-db03 bin]#

手工在主库上绑定vip，注意一定要和配置文件中的ethN一致，我的是eth0:1(1是key指定的值)
[root@mysql-db03 bin]# ifconfig eth0:1 10.0.0.55/24

[root@mysql-db03 bin]# nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &

[1] 7841

[root@mysql-db03 bin]# masterha_check_status --conf=/etc/mha/app1.cnf

app1 (pid:7841) is running(0:PING_OK), master:10.0.0.52

[root@mysql-db03 bin]#

1.4.1 漂移脚本：

[root@mysql-db03 bin]# cat master_ip_failover

#!/usr/bin/env perl

 

use strict;

use warnings FATAL => 'all';

 

use Getopt::Long;

 

my (

    $command,          $ssh_user,        $orig_master_host, $orig_master_ip,

    $orig_master_port, $new_master_host, $new_master_ip,    $new_master_port

);

 

my $vip = '10.0.0.55/24';

my $key = '0';

my $ssh_start_vip = "/sbin/ifconfig eth0:$key $vip";

my $ssh_stop_vip = "/sbin/ifconfig eth0:$key down";

 

GetOptions(

    'command=s'          => $command,

    'ssh_user=s'         => $ssh_user,

    'orig_master_host=s' => $orig_master_host,

    'orig_master_ip=s'   => $orig_master_ip,

    'orig_master_port=i' => $orig_master_port,

    'new_master_host=s'  => $new_master_host,

    'new_master_ip=s'    => $new_master_ip,

    'new_master_port=i'  => $new_master_port,

);

 

exit &main();

 

sub main {

 

    print " IN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip=== ";

 

    if ( $command eq "stop" || $command eq "stopssh" ) {

 

        my $exit_code = 1;

        eval {

            print "Disabling the VIP on old master: $orig_master_host ";

            &stop_vip();

            $exit_code = 0;

        };

        if ($@) {

            warn "Got Error: $@ ";

            exit $exit_code;

        }

        exit $exit_code;

    }

    elsif ( $command eq "start" ) {

 

        my $exit_code = 10;

        eval {

            print "Enabling the VIP - $vip on the new master - $new_master_host ";

            &start_vip();

            $exit_code = 0;

        };

        if ($@) {

            warn $@;

            exit $exit_code;

        }

        exit $exit_code;

    }

    elsif ( $command eq "status" ) {

        print "Checking the Status of the script.. OK ";

        exit 0;

    }

    else {

        &usage();

        exit 1;

    }

}

 

sub start_vip() {

    `ssh $ssh_user@$new_master_host " $ssh_start_vip "`;

}

sub stop_vip() {

     return 0  unless  ($ssh_user);

    `ssh $ssh_user@$orig_master_host " $ssh_stop_vip "`;

}

 

sub usage {

    print

    "Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port ";

}

[root@mysql-db03 bin]#

停掉主库

[root@mysql-db02 tools]# /etc/init.d/mysqld stop

开启mha

[root@mysql-db03 bin]# nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &

[1] 8157

[root@mysql-db03 bin]# masterha_check_status --conf=/etc/mha/app1.cnf

app1 (pid:8157) is running(0:PING_OK), master:10.0.0.51此时主库是51那么漂移成功

[root@mysql-db03 bin]#

1.4.2 测试切换

打开日志

[root@mysql-db03 ~]# tail -f /var/log/mha/app1/manager

[root@mysql-db01 tools]# /etc/init.d/mysqld stop  #停掉主库
注意：当主库当掉之后，MHA自动切换到一台机器后，MHA会自动关闭，需要修改后手动开启MHA

日志显示

 

Started automated(non-interactive) failover.

Selected 10.0.0.52(10.0.0.52:3306) as a new master.

10.0.0.52(10.0.0.52:3306): OK: Applying all logs succeeded.

10.0.0.53(10.0.0.53:3306): OK: Slave started, replicating from 10.0.0.52(10.0.0.52:3306)

10.0.0.52(10.0.0.52:3306): Resetting slave info succeeded.

Master failover to 10.0.0.52(10.0.0.52:3306) completed successfully.

1、修复旧master，并启动。

2、找到日志中的change master 语句，将旧的mater变成从

mysql> CHANGE MASTER TO MASTER_HOST='10.0.0.52', MASTER_PORT=3306, MASTER_AUTO_POSITION=1, MASTER_USER='rep', MASTER_PASSWORD='oldboy123';

Query OK, 0 rows affected, 2 warnings (0.12 sec)

 

mysql> start slave;

Query OK, 0 rows affected (0.01 sec)

3、添加配置文件中的server标签

[root@mysql-db03 ~]# vim  /etc/mha/app1.cnf
[server1]

hostname=10.0.0.51

port=3306

4、启动mha查看状态

[root@mysql-db03 ~]# nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &

[1] 6462

[root@mysql-db03 ~]# masterha_check_status --conf=/etc/mha/app1.cnf

app1 (pid:6462) is running(0:PING_OK), master:10.0.0.52

[root@mysql-db03 ~]#

指定切换到哪一台节点上

[server1]

hostname=10.0.0.51

port=3306

 

 

[server2]

#candidate_master=1在哪一个server标签上设置就会切换到哪一个机器。就不会按照binlog位置切换了。

#check_repl_delay=0

hostname=10.0.0.52

port=3306

 

[server3]

hostname=10.0.0.53

port=3306

#candidate_master=1

#check_repl_delay=0

1.4.3 配置文件详解

[server default]

#设置manager的工作目录

manager_workdir=/var/log/masterha/app1

#设置manager的日志

manager_log=/var/log/masterha/app1/manager.log

#设置master 保存binlog的位置，以便MHA可以找到master的日志，我这里的也就是mysql的数据目录

master_binlog_dir=/data/mysql

#设置自动failover时候的切换脚本

master_ip_failover_script= /usr/local/bin/master_ip_failover

#设置手动切换时候的切换脚本

master_ip_online_change_script= /usr/local/bin/master_ip_online_change

#设置mysql中root用户的密码，这个密码是前文中创建监控用户的那个密码

password=123456

#设置监控用户root

user=root

#设置监控主库，发送ping包的时间间隔，尝试三次没有回应的时候自动进行failover

ping_interval=1

#设置远端mysql在发生切换时binlog的保存位置

remote_workdir=/tmp

#设置复制用户的密码

repl_password=123456

#设置复制环境中的复制用户名

repl_user=rep

#设置发生切换后发送的报警的脚本

report_script=/usr/local/send_report

#一旦MHA到server02的监控之间出现问题，MHA Manager将会尝试从server03登录到server02

secondary_check_script= /usr/local/bin/masterha_secondary_check -s server03 -s server02 --user=root --master_host=server02 --master_ip=192.168.0.50

 

 --master_port=3306

#设置故障发生后关闭故障主机脚本（该脚本的主要作用是关闭主机放在发生脑裂,这里没有使用）

shutdown_script=""

#设置ssh的登录用户名

ssh_user=root

 

[server1]

hostname=10.0.0.51

 

port=3306

 

[server2]

hostname=10.0.0.52

 

port=3306

#设置为候选master，如果设置该参数以后，发生主从切换以后将会将此从库提升为主库，即使这个主库不是集群中事件最新的slave

candidate_master=1

#默认情况下如果一个slave落后master 100M的relay logs的话，MHA将不会选择该slave作为一个新的master，因为对于这个slave的恢复需要花费很长时间，通过设置check_repl_delay=0,MHA触发切换在选择一个新的master的时候将会忽略复制延时，这个参数对于设置了candidate_master=1的主机非常有用，因为这个候选主在切换的过程中一定是新的master

check_repl_delay=0

1.5 binlog-server配置

修改配置文件（先决条件有一套带有GTID的MHA集群）

找一台额外的机器，必须要有5.6以上的版本，支持gtid并开启，我们直接用的第二个slave

[root@mysql-db03 bin]# vim  /etc/mha/app1.cnf
[binlog1]

no_master=1

hostname=10.0.0.53

master_binlog_dir=/data/mysql/binlog/

创建目录

[root@mysql-db03 bin]# mkdir -p /data/mysql/binlog/
状态查看
[root@mysql-db03 binlog]#  masterha_check_status --conf=/etc/mha/app1.cnf

app1 is stopped(2:NOT_RUNNING).

从主库拉去binlog日志

[root@mysql-db03 bin]# cd /data/mysql/binlog/

[root@mysql-db03 binlog]# ll

total 0

[root@mysql-db03 binlog]# mysqlbinlog  -R --host=10.0.0.51 --user=mha --password=mha --raw  --stop-never mysql-bin.000001 &

[root@mysql-db03 binlog]#  masterha_stop --conf=/etc/mha/app1.cnf
nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1
masterha_check_status --conf=/etc/mha/app1.cnf

1.6 send_report

(1)准备发邮件的脚本(我们已经为大家准备好了script.tar.gz)

    将以上脚本解压到 /usr/local/bin

(2)将准备好的脚本添加到mha配置文件中,让其调用

vi /etc/mha/app1.cnf

report_script=/usr/local/bin/send

（3）停止MHA

        /usr/bin/masterha_stop --conf=/etc/mha/app1.cnf

（4）开启MHA

   

        nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &

       

(5) 关闭主库,看警告邮件

 

change master to master_host='10.0.0.53',master_user='repl',master_password='123' ,MASTER_AUTO_POSITION=1;

   

----------------------------

1.7 mysql中间键Atlas

1.7.1 主要功能

1、读写分离

2、从库负载均衡

3、IP过滤

4、自动分表

5、DBA可以平滑上下线DB

6、自动摘除宕机的DB

1.7.2 Atlas相对于官方对的MySQL-proxy

1.7.3 安装

[root@mysql-db01 tools]# rpm -ivh Atlas-2.2.1.el6.x86_64.rpm

1.7.4 修改配置文件

配置加密密码

[root@mysql-db01 bin]# cd /usr/local/mysql-proxy/   

[root@mysql-db01 bin]#/usr/local/mysql-proxy/bin/encrypt  123      ---->制作加密密码

3yb5jEku5h4=

 [root@mysql-db01 bin]# vim  /usr/local/mysql-proxy/conf/test

[mysql-proxy]

 

#带#号的为非必需的配置项目

 

#管理接口的用户名

admin-username = user

 

#管理接口的密码

admin-password = pwd

 

#Atlas后端连接的MySQL主库的IP和端口，可设置多项，用逗号分隔

proxy-backend-addresses = 10.0.0.55:3306

 

#Atlas后端连接的MySQL从库的IP和端口，@后面的数字代表权重，用来作负载均衡，若省略则默认为1，可设置多项，用逗号分隔

proxy-read-only-backend-addresses = 10.0.0.52:3306,10.0.0.53:3306

 

#用户名与其对应的加密过的MySQL密码，密码使用PREFIX/bin目录下的加密程序encrypt加密，下行的user1和user2为示例，将其替换为你的MySQL的用户名和加密密码！

pwds = root:1N/CNLSgqXuTZ6zxvGQr9A==,rep:1N/CNLSgqXuTZ6zxvGQr9A==,mha:O2jBXONX098=

 

#设置Atlas的运行方式，设为true时为守护进程方式，设为false时为前台方式，一般开发调试时设为false，线上运行时设为true,true后面不能有空格。

daemon = true

 

#设置Atlas的运行方式，设为true时Atlas会启动两个进程，一个为monitor，一个为worker，monitor在worker意外退出后会自动将其重启，设为false时只有worker，没有monitor，一般开发调试时设为false，线上运行时设为true,true后面不能有空格。

keepalive = true

 

#工作线程数，对Atlas的性能有很大影响，可根据情况适当设置

event-threads = 8

 

#日志级别，分为message、warning、critical、error、debug五个级别

log-level = error

 

#日志存放的路径

log-path = /usr/local/mysql-proxy/log

 

#SQL日志的开关，可设置为OFF、ON、REALTIME，OFF代表不记录SQL日志，ON代表记录SQL日志，REALTIME代表记录SQL日志且实时写入磁盘，默认为OFF

sql-log = ON

 

#慢日志输出设置。当设置了该参数时，则日志只输出执行时间超过sql-log-slow（单位：ms)的日志记录。不设置该参数则输出全部日志。

#sql-log-slow = 10

 

#实例名称，用于同一台机器上多个Atlas实例间的区分

#instance = test

 

#Atlas监听的工作接口IP和端口

proxy-address = 0.0.0.0:3307

 

#Atlas监听的管理接口IP和端口

admin-address = 0.0.0.0:2345

 

#分表设置，此例中person为库名，mt为表名，id为分表字段，3为子表数量，可设置多项，以逗号分隔，若不分表则不需要设置该项

#tables = person.mt.id.3

 

#默认字符集，设置该项后客户端不再需要执行SET NAMES语句

charset = utf8

 

#允许连接Atlas的客户端的IP，可以是精确IP，也可以是IP段，以逗号分隔，若不设置该项则允许所有IP连接，否则只允许列表中的IP连接

#client-ips = 127.0.0.1, 192.168.1

 

#Atlas前面挂接的LVS的物理网卡的IP(注意不是虚IP)，若有LVS且设置了client-ips则此项必须设置，否则可以不设置

#lvs-ips = 192.168.1.1

[root@mysql-db01 conf]#

1.7.5 开启

[root@mysql-db01 conf]# /usr/local/mysql-proxy/bin/mysql-proxyd test start

OK: MySQL-Proxy of test is started

[root@mysql-db01 conf]#

查看有两个进程

[root@mysql-db01 conf]# netstat -luntp

Active Internet connections (only servers)

Proto Recv-Q Send-Q Local Address               Foreign Address             State       PID/Program name  

tcp        0      0 0.0.0.0:2345                0.0.0.0:*                   LISTEN      3936/mysql-proxy   

tcp        0      0 0.0.0.0:3307                0.0.0.0:*                   LISTEN      3936/mysql-pro

1.7.6 登录

[root@mysql-db01 data]# mysql -uuser -ppwd -h127.0.0.1 -P2345

读的测试

 

show variables like 'server_id';

set global read_only=1;

连接测试

mysql -umha -pmha -h10.0.0.53 -P33060

create database db1;

动态添加删除节点：

REMOVE BACKEND 3;

ADD SLAVE 10.0.0.53:3306;

SAVE CONFIG;

mysql> SELECT * FROM help

    -> ;

+----------------------------+---------------------------------------------------------+

| command                    | description                                             |

+----------------------------+---------------------------------------------------------+

| SELECT * FROM help         | shows this help                                         |

| SELECT * FROM backends     | lists the backends and their state后端数据库                      |

| SET OFFLINE $backend_id    | offline backend server, $backend_id is backend_ndx's id |平滑下线

| SET ONLINE $backend_id     | online backend server, ...                              |平滑上线

| ADD MASTER $backend        | example: "add master 127.0.0.1:3306", ...               |添加master

| ADD SLAVE $backend         | example: "add slave 127.0.0.1:3306", ...                |添加slave

| REMOVE BACKEND $backend_id | example: "remove backend 1", ...                        |

| SELECT * FROM clients      | lists the clients                                       |

| ADD CLIENT $client         | example: "add client 192.168.1.2", ...                  |

| REMOVE CLIENT $client      | example: "remove client 192.168.1.2", ...               |

| SELECT * FROM pwds         | lists the pwds                                          |

| ADD PWD $pwd               | example: "add pwd user:raw_password", ...  自动加密密码             |

| ADD ENPWD $pwd             | example: "add enpwd user:encrypted_password", ...  需要先加密密码后输入需要添加加密后的密码     |

| REMOVE PWD $pwd            | example: "remove pwd user", ...                         |

| SAVE CONFIG                | save the backends to config file   保存配置                     |

| SELECT VERSION             | display the version of Atlas   

1.7.7 自动分表

school.stu    1000w

id   name

stu_0   stu_1   stu_2   stu_3    stu_4

stu 表 1000w数据 , id  name

以上分表方式,存数据非常均匀,取数据不均与,因为要考虑业务需求

如果业务查询热点数据集中在id是1-200w这些数据,那么读取就不均匀

取模分表

n/5  取余数  (0,1,2,3,4)

(1)如果是  0  则分到 stu_0

(2)如果是  1  则分到 stu_1

(3)如果是  2  则分到 stu_2

(4)如果是  3  则分到 stu_3

(5)如果是  4  则分到 stu_4

取余数

配置文件

vi /usr/local/mysql-proxy/conf/test.cnf

tables = school.stu.id.5

重启atlas

(主库)手工创建,分表后的库和表,分别为定义的school  和 stu_0 stu_1 stu_2 stu_3 stu_4

create database school;

use school

create table stu_0 (id int,name varchar(20));

create table stu_1 (id int,name varchar(20));

create table stu_2 (id int,name varchar(20));

create table stu_3 (id int,name varchar(20));

create table stu_4 (id int,name varchar(20));

测试:

insert into stu values (3,'wang5');

 

insert into stu values (2,'li4');

 

insert into stu values (1,'zhang3');

 

insert into stu values (4,'m6');

 

insert into stu values (5,'zou7');

 

commit;