zoukankan      html  css  js  c++  java
  • MySQL binlog日志占用过大

    binlog介绍

    mysql-binlog是MySQL数据库的二进制日志,用于记录用户对数据库操作的SQL语句((除了数据查询语句)信息。可以使用mysqlbin命令查看二进制日志的内容。binlog的格式也有三种:STATEMENT、ROW、MIXED 。下面对这三种格式分别加以说明:

    STATMENT模式

    基于SQL语句的复制(statement-based replication, SBR),每一条会修改数据的sql语句会记录到binlog中。

    优点:不需要记录每一条SQL语句与每行的数据变化,这样子binlog的日志也会比较少,减少了磁盘IO,提高性能。

    缺点:在某些情况下会导致master-slave中的数据不一致(如sleep()函数, last_insert_id(),以及user-defined functions(udf)等会出现问题)

    ROW模式

    不记录每一条SQL语句的上下文信息,仅需记录哪条数据被修改了,修改成了什么样子了。

    优点:不会出现某些特定情况下的存储过程、或function、或trigger的调用和触发无法被正确复制的问题。

    缺点:会产生大量的日志,尤其是alter table的时候会让日志暴涨。

    MIXED模式

    混合模式复制(mixed-based replication, MBR):以上两种模式的混合使用,一般的复制使用STATEMENT模式保存binlog,对于STATEMENT模式无法复制的操作使用ROW模式保存binlog,MySQL会根据执行的SQL语句选择日志保存方式。

    相关binlog配置

    [mysqld]
    binlog_format = mixed
    #设置日志格式
    
    log-bin = /data/mysql/logs/mysql-bin.log
    #设置日志路径,注意路经需要mysql用户有权限写
    
    expire_logs_days = 7
    #设置binlog清理时间
    
    max_binlog_size = 100m
    #binlog每个日志文件大小
    
    binlog_cache_size = 4m
    #binlog缓存大小
    
    max_binlog_cache_size = 512m
    #最大binlog缓存大小

    问题环境

      公司现有的mysql数据库因为开启了binlog日志,但是没有做定期清理处置,下面对现在碰到的问题做一个思路的描述及处理步骤:

    1、如果数据库已经崩溃,则不要立即启动(就算你想启动也启动不了)
    2、如果数据非常重要先做数据备份,个人建议先将binlog日志转移到其他磁盘分区下
    3、修改服务的主配置文件,设置binlog的存在周期
    4、重启服务,并且重置/查看binlog日志信息

     

    相关操作

    # 处理binlog日志占用过大方式1----关闭binlog记录
    binlog日志的关闭直接在配置文件中注释即可
    
    # 处理binlog日志占用过大方式2----设置日志文件保存周期
    expire_logs_days = x //二进制日志自动删除的天数。默认值为0,表示“没有自动删除”,官方推荐10天左右,具体时间根据业务来定
    
    # 处理binlog日志占用过大方式3----手动清理,可以自己写脚本
    PURGE MASTER LOGS BEFORE DATE_SUB(CURRENT_DATE, INTERVAL 10 DAY);   //删除10天前的MySQL binlog日志,附录2有关于PURGE MASTER LOGS手动删除用法及示例
    # 下面是一些关于扩展操作
    相关SQL语句如下:
    show binary logs;                            
    # 查看binlog现有详情
    
    show variables like '%log%';            
    # 查看log变量的相关配置
    
    set global expire_logs_days = 10;    
    # 设置binlog的保存时间
    
    reset master;                                 
    # 重置所有的binlog,相当于删除所有的binlog,这个操作对主从集群影响非常大,因为主从赋值是基于binlog日志来实现的
    
    PURGE {MASTER | BINARY} LOGS TO 'log_name'
    PURGE {MASTER | BINARY} LOGS BEFORE 'date'
    # 删除指定的日志或日期之前的日志索引中的所有二进制日志。MASTER和BINARY是同义词
    
    PURGE MASTER LOGS TO 'MySQL-bin.010'; 
    #清除MySQL-bin.010日志
    
    PURGE MASTER LOGS BEFORE '2008-06-22 13:00:00';  
    #清除2008-06-22 13:00:00前binlog日志
    
    PURGE MASTER LOGS BEFORE DATE_SUB( NOW( ), INTERVAL 3 DAY); 
    # 清除3天前binlog日志BEFORE,变量的date自变量可以为'YYYY-MM-DD hh:mm:ss'格式。
  • 相关阅读:
    关于分布式的一些理解和认识
    Git使用详细教程
    Kettle 7启动 Spoon.bat 时报错“A Java Exception has occurred.”的解决方法
    postgresql 9源码安装
    intel笔记本cpu型号后缀详解(M,U,QM,MQ,HQ,XM)
    LAMP部署流水
    四种mysql存储引擎
    MySQL日志
    MySQL存储引擎总结
    MySQL存储引擎中的MyISAM和InnoDB
  • 原文地址:https://www.cnblogs.com/guge-94/p/10860675.html
Copyright © 2011-2022 走看看