zoukankan      html  css  js  c++  java
  • mysql删除大量数据

    mysql删除大量数据时使用批量删除,批量删除时,不要使用排序,会影响删除效率

    DELETE  FROM `table_name` WHERE id< 66169770 limit 1000000;
    

    以下数据摘自 https://zhuanlan.zhihu.com/p/20209766

    生产环境,往往需要更新/删除大量的数据,由于很可能消耗太多的IO资源,对于生产繁忙的系统,需要小心,以避免对生产环境造成影响。
    删除大量数据还有一些副作用,比如主从延时、数据文件无法收缩、锁表等。

    以下是一些要指引和规则:

    1、批量删除,这样往往可以工作得更快,你可能需要在每次批量删除前sleep一段时间,控制删除的频率,这样的目的是减少对生产系统的IO冲击,把符合平均分布,避免从库滞后太多;

    2、可以考虑分区表技术,我很少用分区表,但删除一个分区,显然比删除大量数据简单方便的多,这也是分区表清理/归档数据的优势所在;

    3、按照主键的序列分批分批,或者基于时间分批分批,你总可以找到一种方式批量删除,如果实在没有批量删除的方式,可能你的表结构设计得不好;

    4、基于硬件的性能,每批删除的记录数,可以选择几百到几千到几万的数据量,但不要太大,MySQL很难同时处理好大事务和随机小事务;

    5、如果要删除大部分数据,那么可以考虑的方式是,创建一个新表,insert要保留的数据,然后切换表;

    6、对于大表(InnoDB)删除大量数据,如果是一个很大的事务,中止删除数据的操作,可能需要几倍的时间用于回滚,导致严重的IO瓶颈,而批量删除可以让我们的回滚恢复得快得多。

    7、需要留意空间的释放,选择独立表空间会更有利于释放空间。

  • 相关阅读:
    enum 与 enum class
    git error: unable to rewind rpc post data
    ip地址转换
    大端字节序&小端字节序(网络字节序&主机字节序)
    c++虚析构函数
    引用
    单例模式
    c++ 类静态成员、非静态成员初始化
    算法导论进度帖startedby20131029
    Linux驱动程序接口
  • 原文地址:https://www.cnblogs.com/fengchi/p/13667680.html
Copyright © 2011-2022 走看看