Oracle大量数据更新策略

生产上要修改某个产品的产品代号, 而我们系统是以产品为中心的, 牵一发而动全身, 涉及表几乎覆盖全部, 有些表数据量是相当大的, 达到千万, 亿级别.

单纯的维护产品代号的 SQL 是不难的, 但是性能是最大的问题, 最后采用了 rowid+forall分批更新策略.

细节涉及:

游标(rowid) 

dbms_sql.Urowid_Table 

(异常声明;) 

fetch v_rowid_cursor bulk collect into v_rowid_table limit v_once_commit; ...

forall i in 1 .. v_rowid_table.count save exceptions ...

 

完整代码:

PL/SQL存储过程分批更新↓

--rowid+forall批量更新
declare
  v_total_count integer default 500000; --待更新目标记录总计
  v_once_commit integer default 10000; --单次提交量
  v_pre_prod_code char(8) := '90310004';
  v_new_prod_code char(8) := '9031000X';
  v_dml_name varchar2(100) := 'update tb_cust_vol_list 20181215 01';
  v_suc_count integer := 0; --成功提交计数
  v_err_count integer := 0; --失败记录数
  v_curr_batch integer := 0; --当前提交批次
  v_start_time date := sysdate; --开始时间
  --待更新目标记录rowids
  cursor v_rowid_cursor is
    select rowid from tb_cust_vol_list 
     where prod_code = v_pre_prod_code
     order by rowid; --rowid排序，提高效率
  v_rowid_table dbms_sql.Uv_rowid_table; --临时单次rowid放置表
  v_error exception; --异常声明
  pragma exception_init(v_error, -24381); --指定ora-错误码
  
begin
  --操作日志
  insert into tb_dml_log values (
    v_dml_name,
    v_total_count,
    v_once_commit,
    v_start_time,
    v_start_time,
    0, 0, 0, 0, 0
  );
  commit;
  
  open v_rowid_cursor; --打开rowids游标
  loop 
    exit when v_rowid_cursor%notfound;
    --临时rowids表
    fetch v_rowid_cursor bulk collect into v_rowid_table limit v_once_commit;
    exit when v_rowid_table.count = 0;
    
    begin 
      forall i in 1 .. v_rowid_table.count save exceptions
        --rowid定位行更新
        update tb_cust_vol_list set prod_code=v_new_prod_code where rowid=v_rowid_table(i); 
    exception 
      when v_error then --目标异常
        dbms_output.put_line('ora-24381, error in array DML !');
        dbms_output.put_line('exception count: ' || sql%bulk_exceptions.count);
        v_err_count := v_err_count + sql%bulk_exceptions.count;
      when others then 
        dbms_output.put_line('ora-XXX error occurred !');
        dbms_output.put_line('exception count: ' || sql%bulk_exceptions.count);
        v_err_count := v_err_count + sql%bulk_exceptions.count;
    end;
    
    v_suc_count := v_suc_count + v_rowid_table.count;
    v_curr_batch := v_curr_batch + 1;
    --更新log
    update tb_dml_log a set 
        a.curr_time=sysdate, 
        a.curr_cost=ceil((sysdate-v_start_time)*24*60*60),
        a.curr_batch=v_curr_batch,
        a.process=v_suc_count/a.total_count,
        a.suc_count=v_suc_count,
        a.err_count=v_err_count 
      where a.dml_name=v_dml_name;
    commit;
    
  end loop;
  
  dbms_output.put_line('total error count: ' || v_err_count);
end;

有帮助的博客：
https://blog.csdn.net/leinuo180/article/details/23344647

 

其他考虑:

如果有的表目标数据实在太大, 就算上述优化依然很费时间, 可将此表的目标数据拆分, 比如按月, 按编号.. 分几个脚本, 维护时并行执行.

查询语句获取所有目标数据的 rowid 时, 如果占比很大(索引空间大), 可以尝试禁用索引查询, 使用全表并行查(网上看到的,本人还未尝试).

超大表要注意索引空间的维护.

@20190126更新

批量数据更新方式

1）表重建

即先新建复制表（create 新表(...) as select ... from 旧表 where ...），然后删除旧表（drop），最后修改表名（rename 新表名 to 旧表名），最后恢复表结构（约束，索引等）。

2）rowid+forall PL/SQL存储过程更新

即上面的办法

3）JDBC程序分批更新

优点是DB无关性，性能也不慢，只是数据量太大（千万级）时，力不从心。