zoukankan      html  css  js  c++  java
  • 丢掉DDL,我用这招3分钟清空 MySQL 9亿记录数据表

    摘要:最近由于福建开机广告生产环境的广告日志备份表主键(int类型)达到上限(21亿多),不能再写入数据,需要重新清空下该表并将主键重置,但由于表里有8亿多记录的数据量,使用重置命令及DDL命令执行地非常慢,所以采取删除物理表结构文件的方式来进行快速清空表表数据!

    前言

    1、本文介绍是在MySQL 5.5.29版本进行的操作,其他的版本的没有试过,有兴趣的可以自己尝试去试下!

    2、本文介绍的是删除frm和idb文件,同时不破坏原表结构的清空数据的方式!

    一、数据背景及系统介绍

     

    为更好说明问题,首先介绍下我们系统的数据流转的过程

    step1:日志入库。API向机顶盒/EPG提供广告接口,采集广告请求日志,当STB访问EPG,EPG调用广告请求接口获取广告策略,并写入到报表数据库的【广告请求数据原始表t_ad_req_log】中;

    step2:存储过程备份日志表数据。由于每天产生的广告请求数据量有2000多万,对于etl汇总时抽取有压力,所以通过存储过程将7天以前的数据备份到【广告请求数据备份表t_ad_req_log_back】中,【广告请求数据原始表t_ad_req_log】只保留7天内的数据,约8000万~1亿2千万记录左右;

    step3:etl抽取汇总。使用etl每小时抽取【广告请求数据原始表t_ad_req_log】的上一时段的数据,抽取,分析,汇总写入报表数据库的【广告/广告位按时段汇总表】里面;

    step4:定时删除备份日志表数据。每隔一段时间检查下数据etl汇总后的数据是否有问题,确认无误数据没问题后才将【广告请求数据备份表t_ad_req_log_back】清空,因为该表占用空间实在太大了,不清空隔一段时间就会收到磁盘空间报警短信!

    本次就是有近2个月没有清空数据,发现就有近9亿条记录(为什么这里不用select count(*) 语句来查询?是因为执行这样一条语句10来分钟都没出结果,才用的explain来查看下表中总数据记录)

    占用磁盘空间也是高得吓人,120G

     当然不仅仅是因为占用磁盘过高,更重要的原因是,该表的主键值达到int类型的上限值2147483646了(21亿多),这使得最新的备份数据不能继续写入到该备份表了

    所以,确认汇总表没有数据缺失后,急需清空该备份表的数据,并重置下主键

    二、为什么不用DDL

    通过上面确认【广告请求数据备份表t_ad_req_log_back】表数据可删后,当务之急就是要尽快清空数据,无疑最先想到的就是使用使用ALTER重置主键,执行命令:

    ALTER TABLE t_ad_req_log AUTO_INCREMENT= 1;

    开个小会,结果36分钟过去没有出现结果,尴尬了,执行线程查询命令:

    show processlist;

    发现一直在“ copy to tmp table”,无奈,停下来试试执行drop命令:

    DROP TABLE t_ad_req_log;

    喝杯咖啡,执行了40分钟还没删掉,快急出翔了。

    什么叫无能为力?什么叫难以启齿的柔弱?大概就是MySQL DDL遇到9亿级表结构的时候了吧!

    于是不得已另选它法——删除表文件ibd和frm方式!

    三、3分钟删除

    当然,找到该表的文件,一键rm -rf 删除还是贼爽的,轻轻松松不用3分钟。

    不过因为不知道这么删会不会有什么关联影响,于是就先到测试服务器做了个测试,还是遇到了些问题,记录下步骤后,到现网删除9亿级记录数据清空数据也是用了不到3分钟?具体操作如下:

    3.1 表结构备份

    先在测试数据库创建一个与现网【广告请求数据备份表t_ad_req_log_back】一样的表,然后将备份表的表文件t_ad_req_log_back.frm和t_ad_req_log_back.ibd拷贝到现网/home目录下,这一步的操作主要是为了后面解决建表时出现的“Table `t_ad_req_log_back` already exists”问题

    3.2 删掉现网表文件

    切换到mysql的data目录下,执行删除命令:

    rm -rf t_ad_req_log_back.*

    再一看,磁盘空间并没有释放,还是276G

    于是使用lsof命令查看文件信息:

    lsof -n|grep deleted

    发现删除程序还存活

    继续使用kill -9 27713命令该进程,磁盘空间得到释放

    3.3 重新建表

    由于表文件已经被删掉,该表也就不存在,使用show命令查看也确实没有发现这个表了

    于是想继续建表,发现报错,报错信息一直是“Table `t_ad_req_log_back` already exists”

     Google了一下,才找到原因,原来是:

    由于直接删除了表的物理文件 但mysql的信息库 information_schema 或 mysql 库对该表的信息还存在,也就是说InnoDB格式的表索引都保存在ibdata1这个文件中,虽然物理文件被删除,但是ibdata1中的索引没有删除,所以数据库认为该表已经存在,导致创建失败,也就说直接rm -rf 表文件破坏了表结构。

     难道这个表名就无法再用了吗? 

    当然可以,j记得吗?我们最先做了个表结构备份,现在它派上用场了,将/home目录下的两个表文件t_ad_req_log_back.frm和t_ad_req_log_back.ibd拷贝到数据库的data的目录下,发现表存在了

    执行desc命令发现又报错“Table `t_ad_req_log_back` already exists”,这是怎回事呢?

    再一看用户权限不对,

    改变用户权限

    chmod 660 t_ad_req_log_back.frm
    chown -R mysql:mysql t_ad_req_log_back.frm

    然后再drop表, 删除之后会发现该数据库的data目录下的物理文件夹中还存在t_ad_req_log_back.ibd文件, 删除该文件,然后再次建表就ok了

    至此,9亿级表数据被清空了,同时表结构也没有被破坏!

     我的相关文章参考:不停机不停服务,MYSQL可以这样修改亿级数据表结构

  • 相关阅读:
    指针
    显示和隐式转换
    C++虚函数
    字符串输出
    BP神经网络
    超像素分割
    函数putText()在图片上写文字
    compare
    十五、cookies和session的使用
    爬取腾讯社招职位信息
  • 原文地址:https://www.cnblogs.com/zishengY/p/8781747.html
Copyright © 2011-2022 走看看