zoukankan      html  css  js  c++  java
  • PXC部署,配置,操作原理

     
    centos 虚拟机拷贝
    查看centos版本:
    命令:$ cat /etc/redhat-release
    CentOS Linux release 7.5.1804 (Core) 
    在host文件中设置了节点:centos1 10.3.13.213  node1, centos2 10.3.13.197  node2, centos3 10.3.13.194  node3
     
    linux的yum,rpm操作
     
    安装yum源 yum install http://www.percona.com/downloads/percona-release/redhat/0.1-6/percona-release-0.1-6.noarch.rpm 这个0.1-6已经是目前最新的yum源了
    yum list | grep percona  查看当前安装的percona软件
     
    检查是否安装有MySQL Server: 在安装percona之前需要将mysql以及mariadb删除
    rpm -qa | grep mysql
    rpm -qa | grep  mariadb
    删除方法:
    rpm -e mysql   #普通删除模式
    rpm -e --nodeps mysql    #强行删除模式,如果使用上面命令删除时,提示有依赖的其它文件,则用该命令可以对其强行删除。
    yum remove mariadb-libs-5.5.41-2.el7_0.x86_64
    要注意的是mariadb也是不能存在的,有的话就要删除调,删除的时候有依赖关系,直接yum卸载
     
    percona 提示密钥不匹配 https://www.bbsmax.com/A/MyJxLBjVJn/
     
    清除yum缓存
    yum clean all
    yum --enablerepo=base clean metadata
    yum --enablerepo=updates cleanmetadata
    yum makecache fast
    yum相关的配置文件:
    1.etc/yum.conf配置文件
    2.etc/yum.repos.d/目录下的众多.repo文件
    yum install Percona-Server-server-57 --nogpgcheck   这样可以不用检查公钥
     
    关闭防火墙
    开放系统的3306端口   如果设置了防火墙的话,我们搭建的系统把防火墙已经关了
       firewall-cmd  --zone=public --add-port=3306/tcp --permanent
       firewall-cmd --reload
     
    mysql操作:
    启动 service mysql start 查看运行状态service mysql status 关闭service mysql stop 重启service mysql restart
     
    修改root账户的默认密码
    cat /var/log/mysqld.log | grep "A temporary password"  获取原始密码(系统生成的)
    mysql_secure_installation   修改原始密码
     
    删除percona 
    rpm -qa|grep -i percona  找到包
    yum remove percona-release-0.1-4.noarch 删除安装及其依赖
    rm -rf /var/lib/mysql/ /etc/my.cnf 
    注:这里将删除所有的数据文件(databases, tables, logs, etc.),
    可能你环境中的datafile的位置并不是默认的/var/lib/mysql,而是其他的目录,卸载的时候根据实际情况删除文件
     
    搭建percona cluster 集群环境
    1 设置 vim /etc/selinux/config    SELINUX=disabled 参考:https://blog.csdn.net/chenhualeguan/article/details/54889571
     
    在线安装
    安装Persona仓库
    yum install Percona-XtraDB-Cluster-57 --nogpgcheck 
    在线安装太慢选择离线下载 
     
    离线安装:
    tar -vxf Percona-XtraDB-Cluster-5.7.25-rel28-31.35.1.Linux.x86_64.ssl101.tar.gz   
    在官网下载,这里选择101 针对的是centos7   这个免安装的不知道怎么启动换了一个
     
    tar -xvf Percona-XtraDB-Cluster-5.7.23-31.31-r438-el7-x86_64-bundle.tar
    yum install *.rpm
     
    发现安装有问题需要依赖包:
    yum install perl-IO-Socket-SSL.noarch
    yum install  perl-DBD-MySQL.x86_64
    yum install  perl-Time-HiRes
    yum install  openssl
    yum install  openssl-devel
    yum install  socat
     
    安装   yum源用最新
    yum install percona-xtrabackup-24.x86_64
    将这些需要的依赖的软件包安装后,再运行yum install *.rpm 这样终于将集群服务安装好了。
    目前所有安装的内容:
    $ rpm -qa|grep -i percona                                                
    Percona-XtraDB-Cluster-devel-57-5.7.23-31.31.2.el7.x86_64
    percona-xtrabackup-24-2.4.13-1.el7.x86_64
    Percona-XtraDB-Cluster-shared-57-5.7.23-31.31.2.el7.x86_64
    Percona-XtraDB-Cluster-57-debuginfo-5.7.23-31.31.2.el7.x86_64
    Percona-XtraDB-Cluster-57-5.7.23-31.31.2.el7.x86_64
    percona-release-0.1-6.noarch
    Percona-XtraDB-Cluster-shared-compat-57-5.7.23-31.31.2.el7.x86_64
    Percona-XtraDB-Cluster-test-57-5.7.23-31.31.2.el7.x86_64
    Percona-XtraDB-Cluster-garbd-57-5.7.23-31.31.2.el7.x86_64
    Percona-XtraDB-Cluster-server-57-5.7.23-31.31.2.el7.x86_64
    Percona-XtraDB-Cluster-client-57-5.7.23-31.31.2.el7.x86_64
    Percona-XtraDB-Cluster-full-57-5.7.23-31.31.2.el7.x86_64
     
    配置pxc集群
    vim /etc/my.cnf
    [mysqld]
    datadir=/var/lib/mysql
    user=mysql
    server-id=1 # PXC集群中MySQL实例的唯一ID,不能重复,必须是数字
    wsrep_provider=/usr/lib64/galera3/libgalera_smm.so
    wsrep_cluster_name=pxc-cluster  #PXC集群的名称
    wsrep_node_name=node1  #当前节点的名称
    wsrep_node_address=10.3.13.213  #当前节点的IP
    wsrep_sst_method=xtrabackup-v2  #同步方法(mysqldump、rsync、xtrabackup
    wsrep_sst_auth= sstuser:Abc_123456  #同步使用的帐户
    pxc_strict_mode=ENFORCING  #同步严厉模式
    binlog_format=ROW  #基于ROW复制(安全可靠)
    default_storage_engine=InnoDB  #默认引擎
    innodb_autoinc_lock_mode=2  #主键自增长不锁表
     
    主节点操作:
    在启动前现需要运行下:停止MySQL服务 service mysql stop  否则下面的运行不能启动
    主节点的启动命令与从节点是有区别的。
    systemctl start mysql@bootstrap.service
    systemctl restart mysql@bootstrap.service
     
    进入mysql进行操作:
    #查看 root 密码
    cat /var/log/mysqld.log | grep "A temporary password"
    #修改 root 密码,建议先创建快照,以便恢复.
    mysql_secure_installation
    设置的新密码:Yl*1990929
     
    进入数据库
    mysql -uroot -p
    在数据库库中查看当前状态:mysql> show status like 'wsrep%';
    在结果中注意
    | wsrep_incoming_addresses         | 10.3.13.213:3306                     | 目前集群中只有一个ip
    | wsrep_cluster_size               | 1                                    | 目前node2和node3还没有加进来
     
     
    登录数据库
    mysql -uroot -p
    创建、授权、同步账号
    mysql> CREATE USER 'sstuser'@'localhost' IDENTIFIED BY 'Abc_123456';
    mysql> GRANT RELOAD, LOCK TABLES, REPLICATION CLIENT ON *.* TO 'sstuser'@'localhost';
    mysql> FLUSH PRIVILEGES;
     
    从节点启动:
    systemctl start mysqld
    这里在启动从节点的时候一直报错,通过查找/var/lib/mysql下的错误日志和查看主节点的innobackup.backup.log
    发现是同步账户sstuser的权限问题,按照下面这篇文章的步骤可以解决。
     
     
     
    问题:
       mysql 转移到percona 运行sql语句报错
       新节点加入到集群中,配置文件怎么整
       旧节点重新加入
     
    pxc配置文件my.cnf
    wsrep_provider:  指定Galera库的路径
    wsrep_cluster_name:  Galera集群的名称
    wsrep_cluster_address:Galera集群中各节点地址。地址使用组通信协议gcomm://(group communication)
    wsrep_node_name:本节点在Galera集群中的名称
    wsrep_node_address:本节点在Galera集群中的通信地址
    wsrep_sst_method:state_snapshot_transfer(SST)使用的传输方法,可用方法有mysqldump、rsync和xtrabackup,前两者在传输时都需要对Donor加全局只读锁(FLUSH TABLES WITH READ LOCK),xtrabackup则不需要(它使用percona自己提供的backup lock)。强烈建议采用xtrabackup
    wsrep_sst_auth:在SST传输时需要用到的认证凭据,格式为:"用户:密码"
    pxc_strict_mode:是否限制PXC启用正在试用阶段的功能,ENFORCING是默认值,表示不启用
    binlog_format:二进制日志的格式。Galera只支持row格式的二进制日志
    default_storage_engine:指定默认存储引擎。Galera的复制功能只支持InnoDB
    innodb_autoinc_lock_mode:只能设置为2,设置为0或1时会无法正确处理死锁问题
     
    基于Galera协议的高可用方案:PXC
    Galera是Codership提供的多主数据同步复制机制,可以实现多个节点间的数据同步复制以及读写,并且可保障数据库的服务高可用及数据一致性。
     
    pxc优点:
    1,服务高可用 多个节点的数据是相同的,只要最后一个节点可用,就还能运行。
    1.同步复制,事务要么在所有节点提交或不提交。
    2.多主复制,可以在任意节点进行写操作。
    3.在从服务器上并行应用事件,真正意义上的并行复制。
    4.节点自动配置。
    5.数据一致性,不再是异步复制。
     
    pxc缺点:
    1,对InnoDB的事物控制是支持的,其他的不支持,5.7版本
       mysql> show engines; 可以查看事物的支持。
    加入新节点,开销大。需要复制完整的数据。
    不能有效的解决写缩放问题,所有的写操作都将发生在所有节点上。
    有多少个节点就有多少重复的数据。
     
     
    PXC会使用大概是4个端口号
    3306:数据库对外服务的端口号
    4444:请求SST SST: 指数据一个镜象传输 xtrabackup , rsync ,mysqldump 在新节点加入时起作用
    4567: 组成员之间进行沟通的一个端口号
    4568: 传输IST用的。相对于SST来说的一个增量  ,节点下线,重启加入时起作用
    名词:
    WS:write set 写数据集
    IST: Incremental State Transfer 增量同步
    SST:State Snapshot Transfer 全量同步
     
     
    节点接收sql 请求后,对于ddl 操作,在commit之前,由wsrep API 调用galera 库进行集群内广播,
    所有其他节点验证成功后事务在集群所有节点进行提交,反之roll back。pxc 保证整个集群所有数据的强一致性,满足CAP理论中满足:Consistency 和  Availability
     
     
    对搭建的三个节点的数据库进行测试:
    mysql -uroot -p
    在节点node3上  mysql> create database yl123_db;
    在节点node2上  mysql> show databases; 会发现数据已经同步过去了
     
    数据库设置权限:
    mysql> set global validate_password_policy=0  设置安全级别,0 是最低的
    mysql> set global validate_password_length=4; 设置最小的密码长度
    mysql> set PASSWORD=PASSWORD('123456');  重新设置密码
    赋予远程访问的权限:
    mysql> grant all privileges  on *.* to root@'%' identified by "123456";  设置远程访问的权限
    mysql>  flush privileges;
     
     
    jdbc:mysql:loadbalance 连接mysql集群
     
    ProxySQL是一个可以实现MySQL读写分离的轻量级工具
     
     
    首先测试了下单个连接没有问题
    jdbc.driver=com.mysql.jdbc.Driver
    jdbc.username=root
    jdbc.password=123456
     
    mysql分布式的jdbc连接
    另外两个节点也需要设置远程访问的权限,然后把密码改掉试试
     
    目前的操作是将三个数据库节点的root 密码都改为123456, 且都允许远程可读可写权限
    spring中jdbc的配置:
    jdbc.driver=com.mysql.jdbc.Driver
    jdbc.username=root
    jdbc.password=123456
    能连接上数据库,且数据时同步的。
     
    测试:
    关闭node2 发现数据库集群还是可以正常使用
    重启node2后,刚才更改的数据已经同步到node2中去了
     
     
    新节点加入到集群中:
        新节点加入集群时,需要从当前集群中选择一个Donor节点来同步数据,也就是所谓的state_snapshot_tranfer(SST)过程。
    SST同步数据的方式由选项wsrep_sst_method决定,一般选择的是xtrabackup。
        wsrep_sst_method:state_snapshot_transfer(SST)使用的传输方法,可用方法有mysqldump、rsync和xtrabackup,前两者在传输时都需要对Donor加全局只读锁(FLUSH TABLES WITH READ LOCK),xtrabackup则不需要(它使用percona自己提供的backup lock)。强烈建议采用xtrabackup
     
        必须注意,新节点加入Galera时,会删除新节点上所有已有数据,再通过xtrabackup(假设使用的是该方式)从Donor处完整备份
    所有数据进行恢复。所以,如果数据量很大,新节点加入过程会很慢。而且,在一个新节点成为Synced状态之前,不要同时加入其它新
    节点,否则很容易将集群压垮。如果是这种情况,可以考虑使用wsrep_sst_method=rsync来做增量同步,既然是增量同步,最好保证
    新节点上已经有一部分数据基础,否则和全量同步没什么区别,且这样会对Donor节点加上全局read only锁
     
        如果是集群是新搭建的,或者说直接使用SST的方式加入新节点,那么新节点的配置就直接按照前面的主节点配置来就可以了,只是把wsrep_node_address改成
    对应节点的IP即可,而对于已经运行了一段事件的集群,新加入节点使用SST传送全量数据的方式同步的代价比较高,所以下面讨论一个IST方式加入新节点同步数据的方式
     
    旧节点加入到集群中:
        如果旧节点加入Galera集群,说明这个节点在之前已经在Galera集群中呆过,有一部分数据基础,缺少的只是它离开集群时的数据。
    这时加入集群时,会采用IST(incremental snapshot transfer)传输机制,即使用增量传输。但注意,这部分增量传输的数据源是Donor
    上缓存在GCache文件中的,这个文件有大小限制,如果缺失的数据范围超过已缓存的内容,则自动转为SST传输。如果旧节点上的数据和Donor
    上的数据不匹配(例如这个节点离组后人为修改了一点数据),则自动转为SST传输。关于GCache以及Galera是如何判断数据状态的,本文不展开
    描述,可参见Understanding GCache in Galera
     
        节点在退出集群后, 从新加入的时候, 如果这个故障节点的ip 在自己的配置文件 wsrep_cluster_address 的选项中的第一个ip .
    那么这个节点是永远都无法再加入这个集群了.参考:http://blog.itpub.net/133735/viewspace-2140548/
     
    PXC集群安装部署指南
    当前的虚拟机版本:
       CentOS Linux release 7.5.1804 (Core)
    注意:下面的操作需要在每一个节点上进行。
    1、开放系统3306,4444,4567,4568端口
        firewall-cmd --zone=public --add-port=3306/tcp --permanent
        firewall-cmd --zone=public --add-port=4444/tcp --permanent
        firewall-cmd --zone=public --add-port=4567/tcp --permanent
        firewall-cmd --zone=public --add-port=4568/tcp --permanent
        firewall-cmd --reload
     
    2、设置 vim /etc/selinux/config    
        SELINUX=disabled  
        需要reboot重启后生效
     
    3、检查是否安装有MySQL Server: 在安装percona之前需要将mysql以及mariadb删除
        rpm -qa | grep mysql
        rpm -qa | grep  mariadb 查找是否有mysql或mariadb存在
        删除方法:
        rpm -e mysql   #普通删除模式
        rpm -e --nodeps mysql    #强行删除模式
        yum remove mariadb-libs-5.5.41-2.el7_0.x86_64
        要注意的是mariadb也是不能存在的,有的话就要删除,删除的时候有依赖关系,直接yum卸载
     
    4、安装
        目前安装的版本是5.7
        在线安装
        <1>安装yum源
        <2>安装依赖包以及备份所需的包
           yum install  perl-IO-Socket-SSL.noarch
           yum install  perl-DBD-MySQL.x86_64
           yum install  perl-Time-HiRes
           yum install  openssl
           yum install  openssl-devel
           yum install  socat
           yum install percona-xtrabackup-24.x86_64 (备份用到的软件)
           yum install Percona-XtraDB-Cluster-57
        离线安装
           下载安装 perl-IO-Socket-SSL.noarch、 perl-DBD-MySQL.x86_64、 perl-Time-HiRes
                   openssl、 openssl-devel、socat、percona-xtrabackup-24.x86_64 rpm安装包
           在官网下载http://www.percona.com/
           tar -xvf Percona-XtraDB-Cluster-5.7.23-31.31-r438-el7-x86_64-bundle.tar
           yum install *.rpm
     
    5、配置文件 my.cnf
       vim /etc/my.cnf
        [mysqld]
        datadir=/var/lib/mysql
        user=mysql
        wsrep_provider=/usr/lib64/galera3/libgalera_smm.so   指定Galera库的路径
        wsrep_cluster_name=pxc-cluster  #PXC集群的名称
        wsrep_cluster_address=gcomm://10.3.13.213,10.3.13.197,10.3.13.194 
        集群中各节点地址。地址使用组通信协议gcomm://(group communication)
        wsrep_node_name=node1  #当前节点的名称
        wsrep_node_address=10.3.13.213  #当前节点的IP(这里也可以填写host文件中ip对应的名称)
        wsrep_sst_method=xtrabackup-v2  #同步方法(mysqldump、rsync、xtrabackup)
        wsrep_sst_auth= sstuser:Abc_123456  #同步使用的帐户,格式为:"用户:密码"
        pxc_strict_mode=ENFORCING  #同步严厉模式 
        binlog_format=ROW  #基于ROW复制(安全可靠)
        default_storage_engine=InnoDB  #默认引擎
        innodb_autoinc_lock_mode=2  #主键自增长不锁表 
      注:
      wsrep_cluster_address配置节点的ip,注意在配置当前节点的值时,不要将当前节点的ip放在第一个
     
    6、启动主节点
       systemctl start mysql@bootstrap.service
    注:第一个节点的启动命令与后面节点的启动命令是不一样的
     
    7、在主节点进入mysql进行操作(更改密码,授予权限)
        #查看 root 密码
        cat /var/log/mysqld.log | grep "A temporary password"
        #修改 root 密码,建议先创建快照,以便恢复.
        mysql_secure_installation
        进入数据库
        mysql -uroot -p
        设置root密码访问权限
        mysql> set global validate_password_policy=0  设置安全级别,0 是最低的
        mysql> set global validate_password_length=4; 设置最小的密码长度
        mysql> set PASSWORD=PASSWORD('123456');  重新设置密码
        赋予远程访问的权限:
        mysql> grant all privileges  on *.* to root@'%' identified by "123456";  设置远程访问的权限
        mysql>  flush privileges;
        创建、授权、同步账号
        mysql> CREATE USER 'sstuser'@'localhost' IDENTIFIED BY 'Abc_123456';
        mysql> GRANT RELOAD, LOCK TABLES, REPLICATION CLIENT ON *.* TO 'sstuser'@'localhost';
        mysql> FLUSH PRIVILEGES;
    8、从节点启动
        systemctl start mysqld
    9、查看数据库状态
       查看本机的mysql状态
       systemctl status mysqld
       在数据库库中查看当前状态:mysql> show status like 'wsrep%';
       | wsrep_incoming_addresses         | 10.3.13.213:3306   当前在集群中的节点ip                    
       | wsrep_cluster_size               | 1                  集群中节点个数
     
    基于Galera协议的高可用方案:PXC
    优点:
    1、服务高可用 多个节点的数据是相同的,只要最后一个节点可用,就还能运行。
       无需集中管理。可以在任何时间点失去任何节点,但是集群将照常工作,不受影响。
    2、同步复制,事务要么在所有节点提交或不提交。各节点间无延迟且节点宕机不会导致数据丢失。
    3、多主复制,可以在任意节点进行写操作。
    4、在从服务器上并行应用事件,真正意义上的并行复制。
    5、节点自动配置。无需手工备份当前数据库并拷贝至新节点。
    6、数据一致性,不再是异步复制。
    7、PXC最大的优势:强一致性、无同步延迟
    8、应用程序的兼容性:无需更改应用程序
    缺点:
    1、对InnoDB的事物控制是支持的,其他的不支持,5.7版本
    2、加入新节点,开销大。需要复制完整的数据。新加入节点采用SST时代价高;
    3、不能有效的解决写缩放问题,所有的写操作都将发生在所有节点上。
    4、有多少个节点就有多少重复的数据。
    5、写入效率取决于节点中最弱的一台,因为PXC集群采用的是强一致性原则,一个更改操作在所有节点都成功才算执行成功。
       集群吞吐量/性能取决于短板;
    6、所有表都要有主键;
    7、锁冲突、死锁问题相对更多
    8、不支持LOCK TABLE等显式锁操作;
    9、不支持XA;
                     
        
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
         
     
     
  • 相关阅读:
    从 OKR 工作法到 OKRs-E,落地OKR不能错过的转变
    OKR : 不要让目标仅仅成为口号
    [MySQL]Software caused connection abort: recv failed 问题分析与解决
    VS2010 vcpkgsrv.exe进程CPU占用高的解决方法
    Lync Server 2013企业版部署系列之九:前端部署后续工作
    Lync Server 2013企业版部署系列之八:安装lync server系统
    Lync Server 2013企业版部署系列之七:使用拓扑生成器规划拓扑
    Lync Server 2013企业版部署系列之六:AD准备
    Lync Server 2013企业版部署系列之五:前端服务器软件准备
    Lync Server 2013企业版部署系列之四:SQL准备
  • 原文地址:https://www.cnblogs.com/yanliang12138/p/10525058.html
Copyright © 2011-2022 走看看