zoukankan      html  css  js  c++  java
  • Oracle操作大量数据方法总结

    一、插入大量数据

    --创建存储过程语句 
    CREATE OR REPLACE PROCEDURE p_insert 
    IS

    --批量提交参数 
    num NUMBER;  
    BEGIN 
        FOR i IN 1..10000000 LOOP

    --插入语句 
           insert into USERINFO (ID, NAME, AGE, ADDRESS, OCCUPATION_NAME) 
    values (1, 'ouhy', 25, '广东省佛山市南海区XXXX公司', '测试工程师);   --执行插入 
            num:=num+1;

      --5000笔提交一次,分批量提交,及时释放redo log buffer 
            IF Mod(num,5000)=0 THEN 
               COMMIT; 
            END IF; 
        END LOOP; 
    END;

    --执行语句

    begin 
      p_insert; 
    commit; 
      end;

    一.删除大量数据(例如:table A 有2000万w数据,需要删除1000w)

    1.先将不删除1000w的数据导入到临时表 Table B 中

     create table B as select id,name from table A where .....

    2.然后将2000w数据整个删除(这个在有备份情况下才用的)

    truncate table A;  或者 drop table A;

    3.将数据从临时表全部导回来

    insert into table A  select * from table B

    create table A as select id,name from B;

    4. 然后删除临时表

    drop table B;

    -------------------------附上 ORACLE  DELETE 和 TRUNCATE区别---------------------------------------

    语法
    delete from aa 
    truncate table aa 

    区别 
    1.delete from后面可以写条件,truncate不可以。

    2.delete from记录是一条条删的,所删除的每行记录都会进日志,而truncate一次性删掉整个页,因此日至里面只记录页释放,简言之,delete from更新日志,truncate基本不,所用的事务日志空间较少。

    3.delete from删空表后,会保留一个空的页,truncate在表中不会留有任何页。

    4.当使用行锁执行 DELETE 语句时,将锁定表中各行以便删除。truncate始终锁定表和页,而不是锁定各行。 

    5.如果有identity产生的自增id列,delete from后仍然从上次的序列开始增加,即序列不变,而truncate后,序列会恢复初始。

    6.truncate不会触发delete的触发器,因为truncate操作不记录各个行删除。

    总结
    1.truncate和 delete只删除数据不删除表的结构(定义)     
       drop语句将删除表的结构被依赖的约束(constrain),触发器(trigger),索引(index); 依赖于该表的存储过程/函数将保留,但是变为invalid状态。

    2.delete语句是dml,这个操作会放到rollback segement中,事务提交之后才生效;如果有相应的trigger,执行的时候将被触发
        truncate,drop是ddl, 操作立即生效,原数据不放到rollback segment中,不能回滚. 操作不触发trigger。

    3.delete语句不影响表所占用的extent, 高水线(high watermark)保持原位置不动     
       显然drop语句将表所占用的空间全部释放     
       truncate 语句缺省情况下见空间释放到 minextents个 extent,除非使用reuse storage;   truncate会将高水线复位(回到最开始)。

    4.速度,一般来说: drop> truncate > delete 

    5.安全性:小心使用drop 和truncate,尤其没有备份的时候.否则哭都来不及。

    6.使用上,想删除部分数据行用delete,注意带上where子句. 回滚段要足够大.     想删除表,当然用drop     
    想保留表而将所有数据删除. 如果和事务无关,用truncate即可. 如果和事务有关,或者想触发trigger,还是用delete
    如果是整理表内部的碎片,可以用truncate跟上reuse stroage,再重新导入/插入数据。

    ------------------------------------------------------------------------------------------------------------------------

    二、删除大量重复记录

    1、利用rowid

    在oracle中,每一条记录都有一个rowid,rowid在整个数据库中是唯一的,rowid确定了每条记录是oracle中的哪一个数据文件、块、行上。在重复的记录中,可能所有列的内容都相同,但rowid不会相同。SQL语句如下:

    delete from tbl where rowid in (select a.rowid

    from tbl a,            tbl b

    where a.rowid>b.rowid and a.col1=b.col1 and a.col2 = b.col2) 

    如果已经知道每条记录只有一条重复的,这个sql语句适用。但是如果每条记录的重复记录有N条,这个N是未知的,就要考虑适用下面这种方法了。

    2、利用max或min函数

    这里也要使用rowid,与上面不同的是结合max或min函数来实现。SQL语句如下

    delete from tbl a

    where rowid not in (

              select max(b.rowid)           

              from tbl b

               where a.col1=b.col1 and a.col2 = b.col2);            //这里max使用min也可以 

    或者用下面的语句

    delete from tbl a where rowid<(

                 select max(b.rowid)           

                 from tbl b

                 where a.col1=b.col1 and a.col2 = b.col2);

  • 相关阅读:
    Android ---------- 下拉刷新,上拉加载
    Android ---------- 富文本构建
    php操作字符串(移除字符,计算字符串中字符个数,分割字符串,字符串序列化
    Android ---------- 弹出层自定义布局 之 AlertDialog
    Android ---------- 延时操作
    Android ---------- TabLayout 实战 (二) 仿京东商品详情页
    定风波·莫听穿林打叶声
    hiveSQL执行,转化为MR过程
    who 命令显示关于当前在本地系统上的所有用户的信息
    hadoop中压缩与解压详解
  • 原文地址:https://www.cnblogs.com/happyrocky/p/HappyRocky_Oracle_1.html
Copyright © 2011-2022 走看看