zoukankan      html  css  js  c++  java
  • 转://点评Oracle11g新特性之动态变量窥视

    1. 11g之前的绑定变量窥视
    我们都知道,为了可以让SQL语句共享运行计划,oracle始终都是强调在进行应用系统的设计时,必须使用绑定变量,也就是用一个变量来取代原来出如今SQL语句里的字面值。比方,对于以下三条SQL语句来说:
    select col1 from t where col2 = 1;
    select col1 from t where col2 = 2;
    select col1 from t where col2 = 3;

    我们能够看到,这三条SQL语句差点儿一样,仅仅有最后where条件里的字面值(各自是1、2、3)不同而已。可是假设写成这个样子,则oracle是不知道这三条SQL语句是一样的,仍然把它们当作三条全然不同的SQL语句,从而在shared pool里进行硬解析,并生成终于的运行计划。可是我们会发现,这三个运行计划可能都是一样的,因此后面两次生成运行计划的工作可能是全然不必要的,这在典型的OLTP环境中更是如此。因为解析本身属于CPU密集型操作,因此为了减少对CPU的消耗,oracle建议将这种SQL写成:
    select col1 from t where col2 = :v1;

    然后,分别将1、2、3传递给v1,这种话,仅仅须要第一次传入1时进行解析就可以。而后面运行2、3时,因为SQL文本本身没有变化,因此直接把运行计划拿来使用就可以,不须要再次生成运行计划。

    可是,生成运行计划本身是基于概率的理论,在不訪问详细表里的数据的前提下,依据你的where条件,来推測返回的记录数大概是多少,从而推断应该採用如何的訪问路径。非常明显,这是一定要參照详细的where条件里的值才干进行推測的。这样就与节省CPU的初衷产生了矛盾,由于节省CPU的关键是使用绑定变量,你一旦使用了绑定变量,则oracle岂不是不知道你详细的字面值了吗?

    为了解决这一问题,oracle引入了绑定变量窥视。所谓绑定变量窥视,就是指oracle在第一次解析SQL语句的时候(也就是说该SQL第一次传入shared pool),会将你输入的绑定变量的值带入SQL语句里,从而參考你的字面值来推測该SQL大概会返回多少条记录,从而得到优化的运行计划。然后,以后再次运行同样的SQL语句时,不再考虑你所输入的绑定变量的值,直接取出第一次生成的绑定变量。

    可是,非常可惜的是,使用绑定变量从而共享游标与SQL优化是两个矛盾的目标。Oracle使用绑定变量的前提,是oracle觉得大部分的列的数据都是分布比較均匀的。从而,使用第一次的绑定变量的值所得到的运行计划,大多数情况下都能适用于该绑定变量的其它的值。非常明显,假设第一次传入的绑定变量的值恰好占整个数据量的百分比較高,从而导致全表扫描的运行计划。而后来传入的绑定变量的值都占整个数据量的百分比都非常低,则应该走索引扫描会更好的,可是因为使用了绑定变量,从而oracle并不会再去看你的绑定变量的值,而是直接拿全表扫描的运行计划来用。这时,因为使用了绑定变量,尽管我们达到了游标共享,从而节省CPU的目的,可是SQL的运行计划却不够优化了。

    那么我们怎样在绑定变量和SQL优化之间进行取舍呢?在OLTP应用中,因为并发性较高,CPU上的争用会比較严重,同一时候SQL本身运行时间较短,涉及到的数据量较少,解析所占的时间在整个SQL运行时间中占的比例较高,而花在I/O上的时间占的比例较低。因此虽然绑定变量会有SQL不够优化的问题,还是建议使用绑定变量。可是在DSS应用和数据仓库应用中,因为并发性较低,CPU上的争用较轻,同一时候SQL语句的运行时间都非常长,并且主要时间花在等待I/O上,而解析占的比重较低,这时优化SQL运行计划的重要性就体现出来了。因此,建议不要使用绑定变量,而直接使用字面值。可是大多数的情况都是混合应用,既有OLTP又有数据仓库,这时就非常难完美的解决该问题了。

    我们先来看一下11g之前的绑定变量窥视是怎样工作的,以10g为例。
    我们先创建一个表,使得其含有的数据分布不均匀,并在该表上创建一个索引。
    hr@ora10g > create table t1 as select object_id as id,object_name from dba_objects;
    hr@ora10g > update t1 set id=1 where rownum<=10000;
    hr@ora10g > commit;
    hr@ora10g > create index idx_t1 on t1(id);

    这样,该表里id为的1记录有一万条,而id为其它值的记录都仅仅有一条。从而,我们构建出一个分布不均匀的測试用表。然后,我们收集一下统计信息。注意,这里要收集直方图,为的是要让CBO知道id列上的数据分布不均匀。

    hr@ora10g> begin
    2 dbms_stats.gather_table_stats(
    3 user,
    4 ‘t1‘,
    5 cascade => true,
    6 method_opt => ‘for columns id size 254‘
    7 );
    8 end;
    9 /

    我们找到表t1里最大的id,然后以该id作为第一个绑定变量传入,能够想象,该绑定变量将导致走索引。注意,我们这里设定的优化器目标为all_rows。

    hr@ora11g > select max(id) from t1;
    MAX(ID)
    ----------
    13871
    hr@ora10g> alter system flush shared_pool;
    hr@ora10g> var v_id number;
    hr@ora10g> var v_sql_id varchar2(20);
    hr@ora10g> exec :v_id := 13871;
    hr@ora10g> select * from t1 where id=:v_id;
    此处省略查询结果
    hr@ora10g > begin
    2 select sql_id into :v_sql_id from v$sql
    3 where sql_text like ‘select * from t1 where id=:v_id%‘;
    4 end;
    5 /
    hr@ora10g > select * from table(dbms_xplan.display_cursor(:v_sql_id));
    PLAN_TABLE_OUTPUT
    --------------------------------------------------------------------------------
    SQL_ID djwq30cpbcz7k, child number 0
    -------------------------------------
    select * from t1 where id=:v_id
    Plan hash value: 50753647
    --------------------------------------------------------------------------------
    | Id | Operation | Name | Rows | Bytes | Cost (%CPU)| Time
    --------------------------------------------------------------------------------
    | 0 | SELECT STATEMENT | | | | 11 (100) |
    | 1 | TABLE ACCESS BY INDEX ROWID| T1 | 1365 | 28665| 11 (0) | 00:00:01
    |* 2 | INDEX RANGE SCAN | IDX_T1 | 1365 | | 3 (0) | 00:00:01
    --------------------------------------------------------------------------------
    ......
    hr@ora10g> exec :v_id := 1;
    hr@ora10g> select * from t1 where id=:v_id;
    此处省略查询结果
    hr@ora10g > begin
    2 select sql_id into :v_sql_id from v$sql
    3 where sql_text like ‘select * from t1 where id=:v_id%‘;
    4 end;
    5 /
    hr@ora10g > select * from table(dbms_xplan.display_cursor(:v_sql_id));
    PLAN_TABLE_OUTPUT
    --------------------------------------------------------------------------------
    SQL_ID djwq30cpbcz7k, child number 0
    -------------------------------------
    select * from t1 where id=:v_id
    Plan hash value: 50753647
    --------------------------------------------------------------------------------
    | Id | Operation | Name | Rows | Bytes | Cost (%CPU)| Time
    --------------------------------------------------------------------------------
    | 0 | SELECT STATEMENT | | | | 11 (100) |
    | 1 | TABLE ACCESS BY INDEX ROWID| T1 | 1365 | 28665| 11 (0) | 00:00:01
    |* 2 | INDEX RANGE SCAN | IDX_T1 | 1365 | | 3 (0) | 00:00:01
    --------------------------------------------------------------------------------

    从上面结果能够看出,在为绑定变量传入第一个值为13871时,因为返回的记录条数较少,导致走索引扫描。当我们第二次传入绑定变量值1时,oracle不再生成新的运行计划,而直接拿索引扫描的运行路径来用。

    可是,假设先传入1的绑定变量值,然后再传入13871的绑定变量值时,会如何?我们继续測试。

    hr@ora10g> alter system flush shared_pool;
    hr@ora10g> set autotrace traceonly exp stat;
    hr@ora10g> exec :v_id := 1;
    hr@ora10g> select * from t1 where id=:v_id;
    hr@ora10g > begin
    2 select sql_id into :v_sql_id from v$sql
    3 where sql_text like ‘select * from t1 where id=:v_id%‘;
    4 end;
    5 /
    hr@ora10g > select * from table(dbms_xplan.display_cursor(:v_sql_id));
    PLAN_TABLE_OUTPUT
    --------------------------------------------------------------------------------
    SQL_ID djwq30cpbcz7k, child number 0
    -------------------------------------
    select * from t1 where id=:v_id
    Plan hash value: 3617692013
    --------------------------------------------------------------------------
    | Id | Operation | Name | Rows | Bytes | Cost (%CPU)| Time |
    --------------------------------------------------------------------------
    | 0 | SELECT STATEMENT | | | | 13 (100)| |
    |* 1 | TABLE ACCESS FULL | T1 | 8738 | 179K | 13 (0) | 00:00:01 |
    --------------------------------------------------------------------------
    ......
    hr@ora10g > exec :v_id := 13871;
    hr@ora10g > select * from t1 where id=:v_id;
    hr@ora10g > begin
    2 select sql_id into :v_sql_id from v$sql
    3 where sql_text like ‘select * from t1 where id=:v_id%‘;
    4 end;
    5 /
    hr@ora10g > select * from table(dbms_xplan.display_cursor(:v_sql_id));
    PLAN_TABLE_OUTPUT
    --------------------------------------------------------------------------------
    SQL_ID djwq30cpbcz7k, child number 0
    -------------------------------------
    select * from t1 where id=:v_id
    Plan hash value: 3617692013
    --------------------------------------------------------------------------
    | Id | Operation | Name | Rows | Bytes | Cost (%CPU)| Time |
    --------------------------------------------------------------------------
    | 0 | SELECT STATEMENT | | | | 13 (100)| |
    |* 1 | TABLE ACCESS FULL | T1 | 8738 | 179K | 13 (0) | 00:00:01 |
    --------------------------------------------------------------------------

    非常明显,先传入1的绑定变量时将导致生成的运行计划走全表扫描。后面传入的13871的绑定变量的最佳运行路径应该是索引扫描,可是因为CBO并不知道这一点,而是直接拿第一次生成的运行计划来用了,于是也走全表扫描了。


    2. 11g之后的动态绑定变量窥视
    而从11g開始,这个尴尬的问题開始得到了改善。因此从11g開始,引入了所谓的自适应游标共享(Adaptive Cursor Sharing)。该特性是一个很复杂的技术,用来平衡游标共享和SQL优化这两个矛盾的目标。11g里不会盲目的共享游标,而是会去查看每一个绑定变量,并为不同的绑定变量来产生不同的运行计划。而oracle这么做的前提是,使用多个运行计划的所带来的收益,要比产生多个运行计划所引起的CPU开销要更大。

    使用自适应游标共享时,会遵循以下的步骤:
    1) 一条新的SQL语句第一次传入shared pool时,还是和曾经一样,进行硬解析。并且进行绑定变量窥视,计算where条件各个列的selectivity,同一时候假设绑定变量所在的列上存在直方图的话,也会去參考该直方图来计算selectivity。该游标会被标记为是一个绑定敏感的游标(bind-sensitive cursor)。同一时候,oracle还会保留包括绑定变量的where条件的其它信息,比方selectivity等。Oracle会为该谓词的selectivity维持一个范围,oracle叫做立方体(cube)。仅仅要传入的绑定变量所产生的selectivity落在该范围里面,也就是落在该cube里面,就不产生新的运行计划,而直接拿该cube所相应的运行计划来用。

    2) 下次再次运行同样的SQL时,传入了新的绑定变量,如果使用新的绑定变量的谓词的selectivity落在已经存在的cube范围里,于是这次SQL的运行会使用该cube所相应的运行计划。

    3) 同样的查询再次运行时,如果所使用的新的绑定变量导致这时候的selectivity不再落在已经存在的cube里了,于是也就找不到相应的运行计划。于是系统会进行一个硬解析,这将产生第二个新的运行计划。并且新的selectivity以及相应的cube也会保存下来。也就是说,这时,我们分别有两个cube以及两个运行计划。

    4) 同样的查询再次运行时,如果所使用的新的绑定变量导致这时候的selectivity不落在现存的两个cube中的不论什么一个,所以系统又会进行硬解析。如果这时硬解析所产生的运行计划与第一次产生运行计划一样,也就是说,在第一次评估selectivity的cube时过于保守,导致cube过小,进而导致了这一次的不必要的硬解析。于是,oracle会将第一次产生的cube与这次产生的cube合并成一个新的更大的cube。那么,下次再次进行软解析的时候,如果selectivity落在新的cube里,则会使用第一次所产生的运行计划。

    我们从这里能够看到,11g对这个问题的处理很精彩。这样做的结果是,系统開始执行时,CPU消耗可能会比較严重,可是随着系统不断执行,cube的不断合并从而不断扩大,于是系统的CPU消耗会不断下降,同一时候执行计划也会更加的合理。
    我们来做个试验进行验证。我们採用11g新引入的运行计划管理特性来验证该特性。

    与10g中的測试一样,创建一个数据分布不均匀的表,在数据分布不均匀的列上创建索引,并收集统计信息,收集时注意要收集直方图,从而让CBO知道该列上的数据分布不均匀。
    hr@ora11g > create table t1 as select object_id as id,object_name from dba_objects;
    hr@ora11g > select count(*) from t1;
    COUNT(*)
    ----------
    12064
    hr@ora11g > update t1 set id=1 where rownum<=10000;
    hr@ora11g > commit;
    hr@ora11g > create index idx_t1 on t1(id);
    hr@ora11g > begin
    2 dbms_stats.gather_table_stats(
    3 user,
    4 ‘t1‘,
    5 cascade => true,
    6 method_opt => ‘for columns id size 254‘
    7 );
    8 end;
    9 /

    我们找到表t1里最大的id,然后以该id作为第一个绑定变量传入,能够想象,该绑定变量将导致走索引。

    hr@ora11g > select max(id) from t1;
    MAX(ID)
    ----------
    12462
    我们将optimizer_capture_plan_baselines设置为true,从而让oracle自己主动获取plan baseline。
    hr@ora11g > alter system set OPTIMIZER_CAPTURE_PLAN_BASELINES=true;
    hr@ora11g > alter system flush shared_pool;
    hr@ora11g > var v_id number;
    hr@ora11g > exec :v_id := 12462;
    hr@ora11g > select * from t1 where id=:v_id;
    hr@ora11g > select * from t1 where id=:v_id;

    我们运行两遍select * from t1 where id=:v_id,从而让oracle捕获plan baseline。我们知道id为12462的记录仅仅有一条,因此该SQL应该使用索引扫描。然后我们再为绑定变量传入1,我们知道id为1的记录有一万条,所以较好的运行计划不应该走已经生成的运行计划,而应该走全表扫描。

    hr@ora11g > exec :v_id := 1;
    hr@ora11g > set autotrace traceonly stat;
    --之所以设置stat是为了让该sql实际运行,但不要返回全部记录,
    hr@ora11g > select * from t1 where id=:v_id;
    hr@ora11g > select sql_handle,plan_name,origin,enabled,accepted
    2 from dba_sql_plan_baselines where sql_text like ‘select * from t1%‘;
    SQL_HANDLE PLAN_NAME ORIGIN ENA ACC
    ----------------------- ----------------------------- -------------- --- ---
    SYS_SQL_ea05bbed6f2f670c SYS_SQL_PLAN_6f2f670c844cb98a AUTO-CAPTURE YES YES
    SYS_SQL_ea05bbed6f2f670c SYS_SQL_PLAN_6f2f670cdbd90e8e AUTO-CAPTURE YES NO

    我们能够发现,如今该SQL语句存在两个运行计划了,当中第一个运行计划,也就是accepted为YES的运行计划为v_id等于12462得到的,而第二个运行计划,也就是accepted为NO的是由v_id等于1得到的。第二个运行计划还没有被增加plan baseline,所以优化器不会使用该运行计划。我们将第二个运行计划的accepted改为YES,从而让oracle考虑使用该计划。

    hr@ora11g > var cnt number;
    hr@ora11g > begin
    2 :cnt := dbms_spm.alter_sql_plan_baseline(
    3 sql_handle => ‘SYS_SQL_ea05bbed6f2f670c‘,
    4 plan_name => ‘SYS_SQL_PLAN_6f2f670cdbd90e8e‘,
    5 attribute_name => ‘ACCEPTED‘, attribute_value => ‘YES‘);
    6 end;
    7 /

    我们来看一下这两个运行计划各自是如何的。
    注意:在这里我们要验证oracle会为不同绑定变量生成不同的运行计划时,不能使用set autotrace traceonly exp stat等其它方式。由于set autotrace得出的运行计划始终都是第一次生成的运行计划。我们通过plan baseline从側面来验证它。当然,我们也能够通过设置sql_trace=true从而将运行计划转储出来进行验证。

    SQL> select * from table(dbms_xplan.display_sql_plan_baseline
    2 (‘SYS_SQL_ea05bbed6f2f670c‘,‘SYS_SQL_PLAN_6f2f670c844cb98a‘));
    ......
    --------------------------------------------------------------------------------
    Plan hash value: 50753647
    --------------------------------------------------------------------------------
    | Id | Operation | Name | Rows | Bytes | Cost (%CPU)| Time |
    --------------------------------------------------------------------------------------
    | 0 | SELECT STATEMENT | | 6 | 126 | 2 (0)| 00:00:01 |
    | 1 | TABLE ACCESS BY INDEX ROWID| T1 | 6 | 126 | 2 (0)| 00:00:01 |
    |* 2 | INDEX RANGE SCAN | IDX_T1 | 6 | | 1 (0)| 00:00:01 |
    -----------------------------------------------------------------------------------
    ......
    SQL> select * from table(dbms_xplan.display_sql_plan_baseline
    2 (‘SYS_SQL_ea05bbed6f2f670c‘,‘SYS_SQL_PLAN_6f2f670cdbd90e8e‘));
    ......
    --------------------------------------------------------------------------------
    Plan hash value: 3617692013
    --------------------------------------------------------------------------
    | Id | Operation | Name | Rows | Bytes | Cost (%CPU) | Time |
    --------------------------------------------------------------------------
    | 0 | SELECT STATEMENT | | 6 | 126 | 16 (0) | 00:00:01 |
    |* 1 | TABLE ACCESS FULL | T1 | 6 | 126 | 16 (0) | 00:00:01 |
    --------------------------------------------------------------------------
    ......

    非常明显,第一个是索引扫描,第二个是全表扫描。相同,我们来看一下v$sql里该sql语句有几条记录。

    hr@ora11g > select sql_text,sql_id,child_number,plan_hash_value
    2 from v$sql where sql_text like ‘select * from t1 where%‘;
    SQL_TEXT SQL_ID CHILD_NUMBER PLAN_HASH_VALUE
    --------------------------------- ------------- ------------ ----------------
    select * from t1 where id=:v_id 7y7tt6xyhas1g 0 50753647

    能够看到,该SQL语句眼下在内存里仅仅存在一个运行计划,其plan hash value就等于我们在前面plan baseline里看到的第一个走索引的运行计划的hash value。我们把该运行计划显示出来进行确认。

    hr@ora11g > select * from table(dbms_xplan.display_cursor(‘7y7tt6xyhas1g‘,0));
    PLAN_TABLE_OUTPUT
    --------------------------------------------------------------------------------
    SQL_ID 7y7tt6xyhas1g, child number 0
    -------------------------------------
    select * from t1 where id=:v_id
    Plan hash value: 50753647
    --------------------------------------------------------------------------------
    | Id | Operation | Name | Rows | Bytes | Cost (%CPU)| Time |
    | 0 | SELECT STATEMENT | | | | 2 (100) | |
    | 1 | TABLE ACCESS BY INDEX ROWID| T1 | 1 | 21 | 2 (0) | 00:00:01 |
    |* 2 | INDEX RANGE SCAN | IDX_T1 | 1 | | 1 (0) | 00:00:01 |
    ......

    结果非常明显,正是走索引的运行计划。然后我们继续为帮定变量传入1,多运行几次。
    hr@ora11g > exec :v_id := 1;
    hr@ora11g > set autotrace traceonly stat;
    hr@ora11g > select * from t1 where id=:v_id;
    hr@ora11g > select * from t1 where id=:v_id;
    hr@ora11g > select * from t1 where id=:v_id;

    注意:这里,我们之所以要多运行几次,主要是由于假设仅仅是运行一次或两次,oracle可以认识到你传入的绑定变量落在了第一次的绑定变量(12462)所在的cube之外,可是oracle觉得你可能仅仅是偶尔运行该绑定变量,所以并不一定会使用另外那个全表扫描的运行计划。多运行几次以后,你会发现consistent gets突然从1390直线下降到了715,这时就说明oracle開始使用新的全表扫描的运行计划了。
    然后,这时我们再去查看v$sql里该sql语句有几条记录。

    hr@ora11g > select sql_text,sql_id,child_number,plan_hash_value
    2 from v$sql where sql_text like ‘select * from t1 where%‘;
    SQL_TEXT SQL_ID CHILD_NUMBER PLAN_HASH_VALUE
    --------------------------------- ------------- ------------ ----------------
    select * from t1 where id=:v_id 7y7tt6xyhas1g 0 50753647
    select * from t1 where id=:v_id 7y7tt6xyhas1g 1 3617692013

    我们发现,该SQL语句在内存里存在两条记录了,也就是存在两个子游标了,分别相应了不同的运行计划。相同,我们来看一下新产生的子游标,也就是child_number为1的运行计划是如何的。
    SQL> select * from table(dbms_xplan.display_cursor(‘7y7tt6xyhas1g‘,1));
    PLAN_TABLE_OUTPUT
    --------------------------------------------------------------------------------
    SQL_ID 7y7tt6xyhas1g, child number 1
    -------------------------------------
    select * from t1 where id=:v_id
    Plan hash value: 3617692013
    --------------------------------------------------------------------------
    | Id | Operation | Name | Rows | Bytes | Cost (%CPU)| Time |
    --------------------------------------------------------------------------
    | 0 | SELECT STATEMENT | | | | 16 (100) | |
    |* 1 | TABLE ACCESS FULL| T1 | 9974 | 204K | 16 (0) | 00:00:01 |
    ......
    我们还能够从另外的角度来验证11g里的动态绑定变量窥视,也就是设置sql_trace的方式。这个方式比較简单,仅仅要先发出:alter session set sql_trace=true以后,传入两个不同的绑定变量,然后分别就不同的绑定变量多运行几次。最后调用tkprof对跟踪文件进行分析。这里注意两个地方,第一是跟踪文件位于ADR中,不再位于user_dump_dest參数所指定的文件夹里了。就这里的跟踪文件而言,其所在位置缺省为:$ORACLE_HOME/diag/rdbms/<DB name>/<SID>/trace文件夹下;第二个要注意的是使用tkprof时,加入aggregate=no选项,缺省会将同样SQL语句合并,这样你就发现不到对于同样SQL语句的不同的运行计划了。
    这里节选部分使用tkprof得到的文件内容,例如以下所看到的。

    ......
    SQL ID : 7y7tt6xyhas1g
    select *
    from
    t1 where id=:v_id
    ......
    Rows Row Source Operation
    ------- ---------------------------------------------------
    10000 TABLE ACCESS BY INDEX ROWID T1 (cr=1390 pr=0 pw=0 time=446 us cost=2 size=21 card=1)
    10000 INDEX RANGE SCAN IDX_T1 (cr=687 pr=0 pw=0 time=228 us cost=1 size=0 card=1)(object id 12463)
    ......
    SQL ID : 7y7tt6xyhas1g
    select *
    from
    t1 where id=:v_id
    ......
    Rows Row Source Operation
    ------- ---------------------------------------------------
    10000 TABLE ACCESS FULL T1 (cr=715 pr=0 pw=0 time=142 us cost=16 size=209454 card=9974)
    ......

    从这里也可以非常清楚的看到,对于不同的绑定变量,oracle可以自行选择是否应该生成更好的运行计划并使用该运行计划。

  • 相关阅读:
    【20171123】【GITC精华演讲】贝业新兄弟李济宏:如何做到企业信息化建设的加减乘除
    920记者招待会: 对话详解海尔张瑞敏首席的人单合一
    存货控制中的ABC分类释义
    对员工宽容的公司 都死掉了
    小型互联网公司的IT系统建设思路
    第三方物流是什么
    伟哥对RTO & RPO的通俗理解
    【20170506】贝业新兄弟IT总监李济宏:第三方家居物流的IT架构探索
    【Vegas原创】VirtualBox扩容、分割的整体方案
    数据通信基础(物理层)学习笔记
  • 原文地址:https://www.cnblogs.com/zfox2017/p/7133163.html
Copyright © 2011-2022 走看看