zoukankan      html  css  js  c++  java
  • mysql的主从复制原理与实现

    关于mysql的主从复制,之前一直在听说这个话题,一直没有实现,昨天学习了下,原来是这么回事:

    既然是主从复制,那么肯定有主有从,也就说一个主数据库(一般为写库),一个从数据库(读库)。主数据库更新了,从数据库也要随之更新进行数据同步。

    我们一般是这样实现的,前一篇博文我们写了配置mysql的多实例,比如我们配置3380端口的mysql管理工具中的数据库为主数据库,配置3381端口中的数据库为从数据库,即我们使用了两个mysql实例,后面也会有一主多从,多个mysql实例。

    关于mysql的主从复制:http://blog.csdn.net/hguisu/article/details/7325124

    复制概述

          Mysql内建的复制功能是构建大型,高性能应用程序的基础。将Mysql的数据分布到多个系统上去,这种分布的机制,是通过将Mysql的某一台主机的数据复制到其它主机(slaves)上,并重新执行一遍来实现的。复制过程中一个服务器充当主服务器,而一个或多个其它服务器充当从服务器。主服务器将更新写入二进制日志文件,并维护文件的一个索引以跟踪日志循环。这些日志可以记录发送到从服务器的更新。当一个从服务器连接主服务器时,它通知主服务器从服务器在日志中读取的最后一次成功更新的位置。从服务器接收从那时起发生的任何更新,然后封锁并等待主服务器通知新的更新。

    请注意当你进行复制时,所有对复制中的表的更新必须在主服务器上进行。否则,你必须要小心,以避免用户对主服务器上的表进行的更新与对从服务器上的表所进行的更新之间的冲突。

    mysql支持的复制类型:

      (1):基于语句的复制:  在主服务器上执行的SQL语句,在从服务器上执行同样的语句。MySQL默认采用基于语句的复制,效率比较高。  
                一旦发现没法精确复制时,   会自动选着基于行的复制。    
      (2):基于行的复制:把改变的内容复制过去,而不是把命令在从服务器上执行一遍. 从mysql5.0开始支持
      (3):混合类型的复制: 默认采用基于语句的复制,一旦发现基于语句的无法精确的复制时,就会采用基于行的复制。

    复制解决的问题

             MySQL复制技术有以下一些特点:
             (1)    数据分布 (Data distribution )
             (2)    负载平衡(load balancing)
             (3)    备份(Backups) 
             (4)    高可用性和容错行 High availability and failover 

      复制如何工作 

            整体上来说,复制有3个步骤:   

           (1)    master将改变记录到二进制日志(binary log)中(这些记录叫做二进制日志事件,binary log events);
           (2)    slave将master的binary log events拷贝到它的中继日志(relay log);

           (3)    slave重做中继日志中的事件,将改变反映它自己的数据。

              该过程的第一部分就是master记录二进制日志。在每个事务更新数据完成之前,master在二日志记录这些改变。MySQL将事务串行的写入二进制日志,即使事务中的语句都是交叉执行的。在事件写入二进制日志完成后,master通知存储引擎提交事务。
           下一步就是slave将master的binary log拷贝到它自己的中继日志。首先,slave开始一个工作线程——I/O线程。I/O线程在master上打开一个普通的连接,然后开始binlog dump process。Binlog dump process从master的二进制日志中读取事件,如果已经跟上master,它会睡眠并等待master产生新的事件。I/O线程将这些事件写入中继日志。
           SQL slave thread(SQL从线程)处理该过程的最后一步。SQL线程从中继日志读取事件,并重放其中的事件而更新slave的数据,使其与master中的数据一致。只要该线程与I/O线程保持一致,中继日志通常会位于OS的缓存中,所以中继日志的开销很小。
            此外,在master中也有一个工作线程:和其它MySQL的连接一样,slave在master中打开一个连接也会使得master开始一个线程。复制过程有一个很重要的限制——复制在slave上是串行化的,也就是说master上的并行更新操作不能在slave上并行操作。

    复制配置

    有两台MySQL数据库服务器Master和slave,Master为主服务器,slave为从服务器,初始状态时,Master和slave中的数据信息相同,当Master中的数据发生变化时,slave也跟着发生相应的变化,使得master和slave的数据信息同步,达到备份的目的。

    要点:
    负责在主、从服务器传输各种修改动作的媒介是主服务器的二进制变更日志,这个日志记载着需要传输给从服务器的各种修改动作。因此,主服务器必须激活二进制日志功能。从服务器必须具备足以让它连接主服务器并请求主服务器把二进制变更日志传输给它的权限。

    今天我们先讲一主一从:原理(主库执行sql语句,从库也执行相同的sql语句)

    主从复制的原理是怎么样的呢,简单说,在主数据库对数据进行了增删改的时候,数据进行了修改,这个时候我们会有相应的sql语句对数据库进行操作,此时我们将sql语句记录在主库的日志文件中,所以在主库中要开启日志文件,从数据库读取主库的配置文件,将sql语句在从库也执行一次,这样就实现了数据的同步。

    原理图:

    主数据库Master ,从数据库Slave:

    那么mysql的主从复制有哪些问题呢:从库读取配置文件的时间延迟问题,关于这个问题我们尽量避免:6.2主从配置注意的地方来避免。

    如果面试官问这个问题,我们可以这样回答。

    关于主从复制的配置:

    建立好两个mysql实例后:在两个mysql实例中建立相同的数据库:

    在主库配置:

    第一授权用户,这个用户相当于主从复制的一个账号:

    从库配置:

    查看是否配置成功:

    关于出现的问题

    (1)就是多个实例的UUID的问题,只要修改即可。

    (2)start slave失败:解决方案使用reset slave命令,然后再start slave 即可。

     

    问题描述:从库修改主机名后,从库的同步没有自动启动,用start slave命令开启失败

                  由于修改主机名后,relay-log的名称发生变化,导致文件IO失败,reset slave可以重新定位。

    从库修改主机名后,从库的同步没有自动启动,查看状态如下:

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    51
    52
    53
    54
    55
    56
    57
    mysql> show slave statusG
    *************************** 1. row ***************************
                   Slave_IO_State: 
                      Master_Host: 192.168.1.2
                      Master_User: manager_slave
                      Master_Port: 3306
                    Connect_Retry: 10
                  Master_Log_File: logbin.000053
              Read_Master_Log_Pos: 588641410
                   Relay_Log_File: zzstep-relay-bin.000015
                    Relay_Log_Pos: 38778474
            Relay_Master_Log_File: logbin.000053
                 Slave_IO_Running: No
                Slave_SQL_Running: No
                  Replicate_Do_DB: 
              Replicate_Ignore_DB: mysql,information_schema,performance_schema
               Replicate_Do_Table: 
           Replicate_Ignore_Table: 
          Replicate_Wild_Do_Table: 
      Replicate_Wild_Ignore_Table: hn.sphinx%
                       Last_Errno: 0
                       Last_Error: 
                     Skip_Counter: 0
              Exec_Master_Log_Pos: 588641410
                  Relay_Log_Space: 0
                  Until_Condition: None
                   Until_Log_File: 
                    Until_Log_Pos: 0
               Master_SSL_Allowed: No
               Master_SSL_CA_File: 
               Master_SSL_CA_Path: 
                  Master_SSL_Cert: 
                Master_SSL_Cipher: 
                   Master_SSL_Key: 
            Seconds_Behind_Master: NULL
    Master_SSL_Verify_Server_Cert: No
                    Last_IO_Errno: 0
                    Last_IO_Error: 
                   Last_SQL_Errno: 0
                   Last_SQL_Error: 
      Replicate_Ignore_Server_Ids: 
                 Master_Server_Id: 0
                      Master_UUID: 8ce09c46-a7be-11e4-8e06-0050569f4b5b
                 Master_Info_File: /opt/mysql_data/master.info
                        SQL_Delay: 0
              SQL_Remaining_Delay: NULL
          Slave_SQL_Running_State: 
               Master_Retry_Count: 86400
                      Master_Bind: 
          Last_IO_Error_Timestamp: 
         Last_SQL_Error_Timestamp: 
                   Master_SSL_Crl: 
               Master_SSL_Crlpath: 
               Retrieved_Gtid_Set: 
                Executed_Gtid_Set: 
                    Auto_Position: 0
    1 row in set (0.00 sec)

    使用start slave命令开启失败:

    1
    2
    mysql> start slave;
    ERROR 1872 (HY000): Slave failed to initialize relay log info structure from the repository

    使用reset slave命令解决:

    1
    2
    mysql> reset slave;
    Query OK, 0 rows affected (0.01 sec)
    1
    2
    mysql> start slave;
    Query OK, 0 rows affected (0.03 sec)
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    51
    52
    53
    54
    55
    56
    57
    58
    mysql> show slave statusG
    *************************** 1. row ***************************
                   Slave_IO_State: Queueing master event to the relay log
                      Master_Host: 192.168.1.2
                      Master_User: manager_slave
                      Master_Port: 3306
                    Connect_Retry: 10
                  Master_Log_File: logbin.000021
              Read_Master_Log_Pos: 11215004
                   Relay_Log_File: db_mysql_02-relay-bin.000007
                    Relay_Log_Pos: 22097
            Relay_Master_Log_File: logbin.000005
                 Slave_IO_Running: Yes
                Slave_SQL_Running: Yes
                  Replicate_Do_DB: 
              Replicate_Ignore_DB: mysql,information_schema,performance_schema
               Replicate_Do_Table: 
           Replicate_Ignore_Table: 
          Replicate_Wild_Do_Table: 
      Replicate_Wild_Ignore_Table: hn.sphinx%
                       Last_Errno: 0
                       Last_Error: 
                     Skip_Counter: 0
              Exec_Master_Log_Pos: 21937
                  Relay_Log_Space: 13113813
                  Until_Condition: None
                   Until_Log_File: 
                    Until_Log_Pos: 0
               Master_SSL_Allowed: No
               Master_SSL_CA_File: 
               Master_SSL_CA_Path: 
                  Master_SSL_Cert: 
                Master_SSL_Cipher: 
                   Master_SSL_Key: 
            Seconds_Behind_Master: 1071515
    Master_SSL_Verify_Server_Cert: No
                    Last_IO_Errno: 0
                    Last_IO_Error: 
                   Last_SQL_Errno: 0
                   Last_SQL_Error: 
      Replicate_Ignore_Server_Ids: 
                 Master_Server_Id: 11
                      Master_UUID: 8ce09c46-a7be-11e4-8e06-0050569f4b5b
                 Master_Info_File: /opt/mysql_data/master.info
                        SQL_Delay: 0
              SQL_Remaining_Delay: NULL
          Slave_SQL_Running_State: creating table
               Master_Retry_Count: 86400
                      Master_Bind: 
          Last_IO_Error_Timestamp: 
         Last_SQL_Error_Timestamp: 
                   Master_SSL_Crl: 
               Master_SSL_Crlpath: 
               Retrieved_Gtid_Set: 
                Executed_Gtid_Set: 
                    Auto_Position: 0
    1 row in set (0.00 sec)
    mysql>


    总结:

    由于修改主机名后,relay-log的名称发生变化,导致文件IO失败,reset slave可以重新定位。

    我们看下主从复制的log文件位置:

  • 相关阅读:
    MapReduce WordCount Combiner程序
    Spring Boot 单元测试
    Spring Boot @SpringApplicationConfiguration 不能导入的问题
    西西弗斯 滚石上山
    《Effective Modern C++》翻译--简单介绍
    算法排序问题
    MySQL Study之--MySQL schema_information数据库
    HDOJ 4251 The Famous ICPC Team Again
    一、OpenStack入门 之 初步认识
    python模块
  • 原文地址:https://www.cnblogs.com/fengli9998/p/6792852.html
Copyright © 2011-2022 走看看