zoukankan      html  css  js  c++  java
  • mysql proxy 读写分离

    以下内容均摘录自网上。原址:http://blog.csdn.net/edwzhang/article/details/8475624

    MySQL主从复制(Master-Slave)与读写分离(MySQL-Proxy)实践

    一般来说都是通过 主从复制(Master-Slave)的方式来同步数据,再通过读写分离(MySQL-Proxy)来提升数据库的并发负载能力 这样的方案来进行部署与实施的。

    如下图所示:

    下面进行部署:

    一、MySQL的安装与配置

      可以参考这篇文章:http://heylinux.com/archives/993.html

      值得一提的是,我的安装过程都是源码包编译安装的,并且所有的配置与数据等都统一规划到了/opt/mysql目录中,因此在一台服务器上安装完成以后,可以将整个mysql目录打包,然后传到其它服务器上解包,便可立即使用。

    二、MySQL主从复制

    场景描述:
    主数据库服务器:192.168.10.130,MySQL已经安装,并且无应用数据。
    从数据库服务器:192.168.10.131,MySQL已经安装,并且无应用数据。

    2.1 主服务器上进行的操作

    通过命令行登录管理MySQL服务器(将mysql加入系统服务)

    mysql -uroot -p

    授权给从数据库服务器192.168.10.131
    mysql> GRANT REPLICATION SLAVE ON *.* to 'rep1'@'192.168.10.131' identified by 'password';

    //grant 权限 on 数据库.数据表 to '用户' @ '主机名'  identified by 'password';

    如果主服务器已经存在应用数据,则在进行主从复制时,需要做以下处理:

    (1)主数据库进行锁表操作,不让数据再进行写入动作
    mysql> FLUSH TABLES WITH READ LOCK;

    (2)查看主数据库状态
    mysql> show master status;

    (3)记录下 FILE 及 Position 的值。

    注意:如果返回设置为空,则说明数据库没有开启二进制日志。

    通过mysql>show variables like '%log_bin%'; 可以看到。

    解决方法:

      找到mysql的配置文件,一般是/etc/my.cnf

      添加下面两行

      log-bin=mysql-bin
      binlog_format=mixed

      如果有标首‘[mysqld]’字样,就添加到[mysqld]下,不要添加到其他的下面。

      这样就开启了二进制日志,之后做的所有和修改数据表有关的操作都会被记录


    (4)将主服务器的数据文件,复制到从服务器,建议通过tar压缩后再传到从服务器解压。

    两台服务器之间的传输方式有两种:

        用户scp命令:

        首先查看防火墙是否关闭:/etc/init.d/iptables status。如果没有关闭,先关闭防火墙:/etc/init.d/iptables stop。

        比如要把当前一个文件copy到远程另外一台主机上,可以如下命令:scp /home/daisy/full.tar.gz root@172.19.2.75:/home/root

        相反如果把文件从远程主机copy到当前系统:scp root@172.19.2.75:/home/root /home/daisy/full.tar.gz 

    2.2 配置从服务器
    修改从服务器的配置文件/opt/mysql/etc/my.cnf
    将 server-id = 1修改为 server-id = 10,并确保这个ID没有被别的MySQL服务所使用。

    启动mysql服务
    /opt/mysql/init.d/mysql start

    通过命令行登录管理MySQL服务器
    /opt/mysql/bin/mysql -uroot -p'new-password'

    执行同步SQL语句
    mysql> change master to
    master_host=’192.168.10.130’,
    master_user=’rep1’,
    master_password=’password’,
    master_log_file=’mysql-bin.000005’,
    master_log_pos=261;

    正确执行后启动Slave同步进程
    mysql> start slave;

    2.3取消主数据库锁定
    mysql> UNLOCK TABLES;

    主从同步检查
    mysql> show slave statusG

    ==============================================
    **************** 1. row *******************
    Slave_IO_State:
    Master_Host: 192.168.10.130
    Master_User: rep1
    Master_Port: 3306
    Connect_Retry: 60
    Master_Log_File: mysql-bin.000005
    Read_Master_Log_Pos: 415
    Relay_Log_File: localhost-relay-bin.000008
    Relay_Log_Pos: 561
    Relay_Master_Log_File: mysql-bin.000005
    Slave_IO_Running: YES
    Slave_SQL_Running: YES
    Replicate_Do_DB:
    ……………省略若干……………
    Master_Server_Id: 1
    1 row in set (0.01 sec)
    ==============================================

    其中Slave_IO_Running 与 Slave_SQL_Running 的值都必须为YES,才表明状态正常。   

    完成了之后再在主数据库里插入记录,之后查看从数据库是否有数据,如果有数据则表明插入成功。

    三、MySQL读写分离

    3.2 检查系统所需软件包
    通过 rpm -qa | grep name 的方式验证以下软件包是否已全部安装。


    gcc* gcc-c++* autoconf* automake* zlib* libxml* ncurses-devel* libmcrypt* libtool* flex* pkgconfig*
    libevent* glib*

    若缺少相关的软件包,可通过yum -y install方式在线安装,或直接从系统安装光盘中找到并通过rpm -ivh方式安装。

    3.3 编译安装lua
    MySQL-Proxy的读写分离主要是通过rw-splitting.lua脚本实现的,因此需要安装lua。

    lua可通过以下方式获得
    从http://www.lua.org/download.html下载源码包

    这里我们建议采用源码包进行安装
    cd /opt/install
    wget http://www.lua.org/ftp/lua-5.1.4.tar.gz
    tar zvfx lua-5.1.4.tar.gz
    cd lua-5.1.4

    vi src/Makefile
    在 CFLAGS= -O2 -Wall $(MYCFLAGS) 这一行记录里加上-fPIC,更改为 CFLAGS= -O2 -Wall -fPIC $(MYCFLAGS) 来避免编译过程中出现错误。

    make linux
    make install

    cp etc/lua.pc /usr/lib/pkgconfig/
    export PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/lib/pkgconfig

    3.4 安装配置MySQL-Proxy
    MySQL-Proxy可通过以下网址获得:
    http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/

    推荐采用已经编译好的二进制版本,因为采用源码包进行编译时,最新版的MySQL-Proxy对automake,glib以及libevent的版本都有很高的要求,而这些软件包都是系统的基础套件,不建议强行进行更新。
    并且这些已经编译好的二进制版本在解压后都在统一的目录内,因此建议选择以下版本:
    32位RHEL5平台:
    http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/mysql-proxy-0.8.1-linux-rhel5-x86-32bit.tar.gz
    64位RHEL5平台:
    http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/mysql-proxy-0.8.1-linux-rhel5-x86-64bit.tar.gz

    测试平台为RHEL5 32位,因此选择32位的软件包
    wget http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/mysql-proxy-0.8.1-linux-rhel5-x86-32bit.tar.gz

    tar xzvf mysql-proxy-0.8.1-linux-rhel5-x86-32bit.tar.gz
    mv mysql-proxy-0.8.1-linux-rhel5-x86-32bit /opt/mysql-proxy

    创建mysql-proxy服务管理脚本
    mkdir /opt/mysql-proxy/init.d/

    vim mysql-proxy

    脚本参数详解:
    ==============================================
    PROXY_PATH=/opt/mysql-proxy/bin   //定义mysql-proxy服务二进制文件路径

    PROXY_OPTIONS="--admin-username=root   //定义内部管理服务器账号
    --admin-password=password   //定义内部管理服务器密码


    --proxy-read-only-backend-addresses=192.168.10.131:3306 //定义后端只读从服务器地址
    --proxy-backend-addresses=192.168.10.130:3306 //定义后端主服务器地址
    --admin-lua-script=/opt/mysql-proxy/lib/mysql-proxy/lua/admin.lua //定义lua管理脚本路径


    --proxy-lua-script=/opt/mysql-proxy/scripts/rw-splitting.lua" //定义lua读写分离脚本路径

    PROXY_PID=/opt/mysql-proxy/run/mysql-proxy.pid //定义mysql-proxy PID文件路径

    $NICELEVEL $PROXY_PATH/mysql-proxy $PROXY_OPTIONS
    --daemon //定义以守护进程模式启动
    --keepalive //使进程在异常关闭后能够自动恢复
    --pid-file=$PROXY_PID //定义mysql-proxy PID文件路径
    --user=mysql //以mysql用户身份启动服务
    --log-level=warning //定义log日志级别,由高到低分别有(error|warning|info|message|debug)
    --log-file=/opt/mysql-proxy/log/mysql-proxy.log //定义log日志文件路径
    ==============================================

    cp mysql-proxy /opt/mysql-proxy/init.d/               //把配置好的文件放到目录下面


    chmod +x /opt/mysql-proxy/init.d/mysql-proxy     //修改权限

    mkdir /opt/mysql-proxy/run                                
    mkdir /opt/mysql-proxy/log

    mkdir /opt/mysql-proxy/scripts

    配置并使用rw-splitting.lua读写分离脚本
    最新的脚本我们可以从最新的mysql-proxy源码包中获取
    cd /opt/install

    wget http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/mysql-proxy-0.8.1.tar.gz

    tar xzvf mysql-proxy-0.8.1.tar.gz
    cd mysql-proxy-0.8.1
    cp lib/rw-splitting.lua /opt/mysql-proxy/scripts

    修改读写分离脚本rw-splitting.lua
    修改默认连接,进行快速测试,不修改的话要达到连接数为4时才启用读写分离
    vim /opt/mysql-proxy/scripts/rw-splitting.lua
    =============================
    -- connection pool
    if not proxy.global.config.rwsplit then
    proxy.global.config.rwsplit = {
    min_idle_connections = 1, //默认为4
    max_idle_connections = 1, //默认为8
    is_debug = false
    }
    end
    =============================

    修改完成后,启动mysql-proxy
    /opt/mysql-proxy/init.d/mysql-proxy start

    经验分享:
    1.当MySQL主从复制在 show slave statusG 时出现Slave_IO_Running或Slave_SQL_Running 的值不为YES时,

    需要首先通过 stop slave 来停止从服务器,然后再执行一次本文 2.1与2.2 章节中的步骤即可恢复,但如果想尽可能的同步更多的数据,可以在Slave上将master_log_pos节点的值在之前同步失效的值的基础上增大一些,然后反复测试,直到同步OK。因为MySQL主从复制的原理其实就是从服务器读取主服务器的binlog,然后根据binlog的记录来更新数据库。

    2.MySQL-Proxy的rw-splitting.lua脚本在网上有很多版本,但是最准确无误的版本仍然是源码包中所附带的lib/rw-splitting.lua脚本,如果有lua脚本编程基础的话,可以在这个脚本的基础上再进行优化;

    3.MySQL-Proxy实际上非常不稳定,在高并发或有错误连接的情况下,进程很容易自动关闭,因此打开--keepalive参数让进程自动恢复是个比较好的办法,但还是不能从根本上解决问题,因此通常最稳妥的做法是在每个从服务器上安装一个MySQL-Proxy供自身使用,虽然比较低效但却能保证稳定性;

    4.一主多从的架构并不是最好的架构,通常比较优的做法是通过程序代码和中间件等方面,来规划,比如设置对表数据的自增id值差异增长等方式来实现两个或多个主服务器,但一定要注意保证好这些主服务器数据的完整性,否则效果会比多个一主多从的架构还要差;

    5.MySQL-Cluster 的稳定性也不是太好;

    6.Amoeba for MySQL 是一款优秀的中间件软件,同样可以实现读写分离,负载均衡等功能,并且稳定性要大大超过MySQL-Proxy,建议大家用来替代MySQL-Proxy,甚至MySQL-Cluster。

  • 相关阅读:
    2016第17周四
    2016第17周三
    2016第17周二
    OSGI框架学习
    2016年第16周日
    2016第16周六
    如何培养技术洞见力
    2016第15周四
    深入浅出ClassLoader
    Linux智能小开关rfkill
  • 原文地址:https://www.cnblogs.com/flyxiangshang/p/4914489.html
Copyright © 2011-2022 走看看