zoukankan      html  css  js  c++  java
  • Mysql主从不同步解决方法 binlog三种模式的区别

    Mysql主从不同步解决方法 

    主从同步配置好后,运行了一时间,出现了不同步现象,用命令检查,看到从上报下面错误:

    msyq > show slave status G;
    Last_Errno: 1062
    Last_Error: Error 'Duplicate entry '149' for key 'PRIMARY'' on query. Default database: 'zabbix'. Query: 'insert into escalations (escalationid,actionid,status,triggerid,itemid,eventid,r_eventid) values (149,7,0,16272,null,3334811,null)'

    看这个报错,应该是主MYSQL上建表时,主键有重复的值报错,造成从不能同步。
    解决的办法是在从库上执行:

    mysql> slave stop;
    mysql> set GLOBAL SQL_SLAVE_SKIP_COUNTER=1;
    mysql> slave start;


    上面的方法可以解决问题,还有一种解决问题的办法是通过修改mysql的配置文件,让从库的同步线程忽略这个错误,方法:

    修改mysql配置文件 /etc/my.cnf 在 [mysqld]下加一行 slave_skip_errors = 1062 ,保存重启mysql
    mysql slave可以正常同步了

    binlog三种模式的区别

    1.Row

    日志中会记录成每一行数据被修改的形式,然后在slave端再对相同的数据进行修改,只记录要修改的数据,只有value,不会有sql多表关联的情况。
    优点:在row模式下,bin-log中可以不记录执行的sql语句的上下文相关的信息,仅仅只需要记录那一条记录被修改了,修改成什么样了,所以row的日志内容会非常清楚的记录下每一行数据修改的细节,非常容易理解。而且不会出现某些特定情况下的存储过程和function,以及trigger的调用和出发无法被正确复制问题。
    缺点:在row模式下,所有的执行的语句当记录到日志中的时候,都将以每行记录的修改来记录,这样可能会产生大量的日志内容。
     

    mysql> insert into username(username) select * from aa;
    ERROR 1146 (42S02): Table 'test.username' doesn't exist
    mysql> insert into user(username) select * from aa;
    Query OK, 1 row affected (0.01 sec)
    Records: Duplicates: Warnings: 0

    查看binlog

    root@xuebinbin:/vobiledata/mysqllog# mysqlbinlog mysql-bin.000017
    
    BINLOG '
    63EfUBNQAAAALgAAAA8CAAAAAA8AAAAAAAEABHRlc3QABHVzZXIAAgIPAi0AAA==
    63EfUBdQAAAAJgAAADUCAAAAAA8AAAAAAAEAAv/8BAAFYmFveXU=
    '/*!*/;
    ### INSERT INTO test.user
    ### SET
    ###   @1=4 /* SHORTINT meta=0 nullable=0 is_null=0 */
    ###   @2='baoyu' /* VARSTRING(45) meta=45 nullable=0 is_null=0 */
    # at 565
    #120806  0:27:39 server id 80  end_log_pos 592     Xid = 20
    COMMIT/*!*/;
    DELIMITER ;
    # End of log file
    ROLLBACK /* added by mysqlbinlog */;
    /*!50003 SET COMPLETION_TYPE=@OLD_COMPLETION_TYPE*/;
    

    由此可见,row模式是针对每一行的数据,而于关联表无关,它把关联中的相应数据记录在log中。这样一来会产生大量的数据。

    2.statement

    每一条会修改数据的sql都会记录到master的binlog中,slave在复制的时候sql进程会解析成和原来master端执行多相同的sql再执行。
    优点:在statement模式下首先就是解决了row模式的缺点,不需要记录每一行数据的变化减少了binlog日志量,节省了I/O以及存储资源,提高性能。因为他只需要记录在master上所执行的语句的细节以及执行语句的上下文信息。
    缺点:在statement模式下,由于他是记录的执行语句,所以,为了让这些语句在slave端也能正确执行,那么他还必须记录每条语句在执行的时候的一些相关信息,也就是上下文信息,以保证所有语句在slave端被执行的时候能够得到和在master端执行时候相同的结果。另外就是,由于mysql现在发展比较快,很多的新功能不断的加入,使mysql的复制遇到了不小的挑战,自然复制的时候涉及到越复杂的内容,bug也就越容易出现。在statement中,目前已经发现不少情况会造成Mysql的复制出现问题,主要是修改数据的时候使用了某些特定的函数或者功能的时候会出现,比如:sleep()函数在有些版本中就不能被正确复制,在存储过程中使用了last_insert_id()函数,可能会使slave和master上得到不一致的id等等。由于row是基于每一行来记录的变化,所以不会出现,类似的问题。
     

    mysql> insert into user(username) values('xuebinbin');
    ERROR 1598 (HY000): Binary logging not possible. Message: Transaction level 'READ-COMMITTED' in InnoDB is not safe for binlog mode 'STATEMENT'
    mysql> SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ
        -> ;
    Query OK, 0 rows affected (0.00 sec)
    
    mysql> insert into user(username) values('xuebinbin');
    Query OK, 1 row affected (0.00 sec)
    
    查看binlog
    root@xuebinbin:/vobiledata/mysqllog# mysqlbinlog mysql-bin.000008
    
    BEGIN
    /*!*/;
    # at 174
    #120806 14:47:35 server id 80  end_log_pos 202     Intvar
    SET INSERT_ID=2/*!*/;
    # at 202
    #120806 14:47:35 server id 80  end_log_pos 311     Query    thread_id=5    exec_time=0    error_code=0
    use test/*!*/;
    SET TIMESTAMP=1344235655/*!*/;
    insert into user(username) values('xuebinbin')
    /*!*/;
    # at 311
    #120806 14:47:35 server id 80  end_log_pos 338     Xid = 20
    COMMIT/*!*/;
    # at 338
    #120806 14:53:18 server id 80  end_log_pos 357     Stop
    DELIMITER ;
    # End of log file
    ROLLBACK /* added by mysqlbinlog */;
    /*!50003 SET COMPLETION_TYPE=@OLD_COMPLETION_TYPE*/;
    

    结果发现statement是以sql记录形式记录的。这样的话一个sql就只记录一条,减少了大量的数据存储。

    3.Mixed

    从官方文档中看到,之前的 MySQL 一直都只有基于 statement 的复制模式,直到 5.1.5 版本的 MySQL 才开始支持 row 复制。从 5.0 开始,MySQL 的复制已经解决了大量老版本中出现的无法正确复制的问题。但是由于存储过程的出现,给 MySQL Replication 又带来了更大的新挑战。另外,看到官方文档说,从 5.1.8 版本开始,MySQL 提供了除 Statement 和 Row 之外的第三种复制模式:Mixed,实际上就是前两种模式的结合。在 Mixed 模式下,MySQL 会根据执行的每一条具体的 SQL 语句来区分对待记录的日志形式,也就是在 statement 和 row 之间选择一种。新版本中的 statment 还是和以前一样,仅仅记录执行的语句。而新版本的 MySQL 中对 row 模式也被做了优化,并不是所有的修改都会以 row 模式来记录,比如遇到表结构变更的时候就会以 statement 模式来记录,如果 SQL 语句确实就是 update 或者 delete 等修改数据的语句,那么还是会记录所有行的变更。

    Mysql Binlog日志分析

    通过MysqlBinlog指令查看具体的mysql日志,如下:

    ///////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////
    
    SET TIMESTAMP=1350355892/*!*/;
    
    BEGIN
    
    /*!*/;
    
    # at 1643330
    
    #121016 10:51:32 server id 1  end_log_pos 1643885        Query     thread_id=272571   exec_time=0   error_code=0
    
    SET TIMESTAMP=1350355892/*!*/;
    
    Insert into T_test….)
    
    /*!*/;
    
    # at 1643885
    
    #121016 10:51:32 server id 1  end_log_pos 1643912        Xid = 0
    
    COMMIT/*!*/;
    
    ///////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////

    1.开始事物的时间:

    SET TIMESTAMP=1350355892/*!*/;

    BEGIN

    2.sqlevent起点

    #at 1643330 :为事件的起点,是以1643330字节开始。

    3.sqlevent 发生的时间点

    #121016 10:51:32:是事件发生的时间,

    4.serverId

    server id 1 :为master 的serverId

    5.sqlevent终点及花费时间,错误码

    end_log_pos 1643885:为事件的终点,是以1643885 字节结束。

    execTime 0: 花费的时间

    error_code=0:错误码

    Xid:事件指示提交的XA事务

  • 相关阅读:
    将Nginx添加到windows服务中
    springboot使用redis管理session
    GIT常用命令
    阻止360、谷歌浏览器表单自动填充
    谈谈对Spring IOC的理解
    同一个Nginx服务器同一端口配置多个代理服务
    LeetCode 653. Two Sum IV
    109. Convert Sorted List to Binary Search Tree(根据有序链表构造平衡的二叉查找树)
    108. Convert Sorted Array to Binary Search Tree(从有序数组中构造平衡的BST)
    LeetCode 236. Lowest Common Ancestor of a Binary Tree(二叉树求两点LCA)
  • 原文地址:https://www.cnblogs.com/lidabo/p/14416993.html
Copyright © 2011-2022 走看看