zoukankan      html  css  js  c++  java
  • 关于千万级数据删除的问题

    关于千万级数据我个人认为数据量已经不小了,然而数据删除数据是一件很头痛的事情,因为平常仅仅只用delete 操作发现在删除数据未结束之前是不释放内存的导致删除失败,经过大量的时间查询,想过使用truncate 方法删除不能保存日志并且也不能加条件进行删除,导致也不得不放弃。最后我经过很长一段时间查询治疗,发现游标删除数据时候可以解决数据删除不释放内存的问题,那就是每每删除1000条数据就提交一次事务来释放内存。代码如下

    方法1

    declare
        cursor [del_cursor] is select a.*, a.rowid row_id from [table_name] a order by a.rowid;
    begin
        for v_cusor in [del_cursor] loop
              if v_cusor.[time_stamp] < to_date('2014-01-01','yyyy-mm-dd') then
                  delete from [table_name] where rowid = v_cusor.row_id;
              end if;
              if mod([del_cursor]%rowcount,1000)=0 then
                  commit;
              end if;
        end loop;
        commit;
    end;

    方法1中变量说明:

    [del_cursor] 游标名

    [table_name] 你要删除数据的表名

    [time_stamp] 你用作过滤条件的表的时间字段名称

    方法2

    declare  
    maxrows number default 1000;
    delete_ct number default 0;
    begin
    select count(1)/maxrows  into delete_ct from [table_name] where [time_stamp] < to_date('2014-01-01','yyyy-mm-dd');
    for i in 1..TRUNC(delete_ct)+1
    loop
    delete [table_name] where [time_stamp] < to_date('2014-01-01','yyyy-mm-dd') and rownum <= maxrows;
    commit;
    end loop ;
    end;

    方法2中变量说明:

    [table_name] 你要删除数据的表名

    [time_stamp] 你用作过滤条件的表的时间字段名称

    Note

    两种方法的核心的思路都是把一个大事物拆分成了若干个小事物,无论采用哪种方法,都建议先在对应的测试环境中测试后再考虑是否可以在实际生产使用。

    顺便说一句,这样的大表应该要综合考虑下是否可以改造成分区表。

    这是一个中间存储函数

    另外下面为了方便读者,我特意将delete 与truncate的区别给大家罗列出来。
    1.delete from后面可以写条件,truncate不可以。

    2.delete from记录是一条条删的,所删除的每行记录都会进日志,而truncate一次性删掉整个页,因此日至里面只记录页释放,简言之,delete from更新日志,truncate基本不,所用的事务日志空间较少。

    3.delete from删空表后,会保留一个空的页,truncate在表中不会留有任何页。

    4.当使用行锁执行 DELETE 语句时,将锁定表中各行以便删除。truncate始终锁定表和页,而不是锁定各行。

    5.如果有identity产生的自增id列,delete from后仍然从上次的数开始增加,即种子不变,而truncate后,种子会恢复初始。

    6.truncate不会触发delete的触发器,因为truncate操作不记录各个行删除。

    总结 
    1.truncate和 delete只删除数据不删除表的结构(定义) 
    drop语句将删除表的结构被依赖的约束(constrain),触发器(trigger),索引(index); 依赖于该表的存储过程/函数将保留,但是变为invalid状态。

    2.delete语句是dml,这个操作会放到rollback segement中,事务提交之后才生效;如果有相应的trigger,执行的时候将被触发 
    truncate,drop是ddl, 操作立即生效,原数据不放到rollback segment中,不能回滚. 操作不触发trigger。

    3.delete语句不影响表所占用的extent, 高水线(high watermark)保持原位置不动 
    显然drop语句将表所占用的空间全部释放 
    truncate 语句缺省情况下见空间释放到 minextents个 extent,除非使用reuse storage; truncate会将高水线复位(回到最开始)。

    4.速度,一般来说: drop> truncate > delete。

    5.安全性:小心使用drop 和truncate,尤其没有备份的时候.否则哭都来不及。

    6.使用上,想删除部分数据行用delete,注意带上where子句. 回滚段要足够大. 想删除表,当然用drop 
    想保留表而将所有数据删除. 如果和事务无关,用truncate即可. 如果和事务有关,或者想触发trigger,还是用delete 
    如果是整理表内部的碎片,可以用truncate跟上reuse stroage,再重新导入/插入数据。

  • 相关阅读:
    2016/11/2
    2016/11/1
    bzoj 3809: Gty的二逼妹子序列
    bzoj 1207: [HNOI2004]打鼹鼠
    bzoj 1191: [HNOI2006]超级英雄Hero
    BZOJ 1854: [Scoi2010]游戏
    BZOJ 1296: [SCOI2009]粉刷匠
    BZOJ 1787: [Ahoi2008]Meet 紧急集合
    tarjan算法
    高级的暴力(一)——分块
  • 原文地址:https://www.cnblogs.com/COMEmyHome/p/11724288.html
Copyright © 2011-2022 走看看