zoukankan      html  css  js  c++  java
  • nested loops semi nested loop

    nested loops semi是nested loop连接的变种,又叫半连接。原理与nl相同,通常用于in,exist操作,这种操作join时候,通常查找到一条纪录就可以了,所以用semi表示。与semi相似的有一种叫anti,反连接,一般用于not in,not exists,也有nest loop anti和hash anti两种。

    http://blog.chinaunix.net/uid-26190993-id-3259517.html

    NESTED LOOPS & HASH JOIN & SORT MERGE JOIN

    表连接方式及使用场合

    NESTED LOOP

    对于被连接的数据子集较小的情况,nested loop连接是个较好的选择。nested loop就是扫描一个表,每读到一条记录,就根据索引去另一个表里面查找,没有索引一般就不会是 nested loops。
    一般在nested loop中, 驱动表满足条件结果集不大,被驱动表的连接字段要有索引,这样就走nstedloop。如果驱动表返回记录太多,就不适合nested loops了。如果连接字段没有索引,则适合走hash join,因为不需要索引。
    可用ordered提示来改变CBO默认的驱动表,可用USE_NL(table_name1 table_name2)提示来强制使用nested loop。
    oradered 表示根据 from  后面表的顺序,从左到右join,左表做驱动表,3个或3个以上最有用

    oracle 并没有指出 use_nl(a b)  中 哪个是驱动表,所以有时我们习惯使用 ordered 或者 full()  或者 index() 来强化我们的目标

    HASH JOIN

    hash join是CBO 做大数据集连接时的常用方式。优化器扫描小表(或数据源),利用连接键(也就是根据连接字段计算hash 值)在内存中建立hash表,然后扫描大表,每读到一条记录就来探测hash表一次,找出与hash表匹配的行。
    当小表可以全部放入内存中,其成本接近全表扫描两个表的成本之和。如果表很大不能完全放入内存,这时优化器会将它分割成若干不同的分区,不能放入内存的部分就把该分区写入磁盘的临时段,此时要有较大的临时段从而尽量提高I/O 的性能。临时段中的分区都需要换进内存做hash join。这时候成本接近于全表扫描小表+分区数*全表扫描大表的代价和。
    至于两个表都进行分区,其好处是可以使用parallel query,就是多个进程同时对不同的分区进行join,然后再合并。但是复杂。
    使用hash join时,HASH_AREA_SIZE初始化参数必须足够的大,如果是9i,Oracle建议使用SQL工作区自动管理,设置WORKAREA_SIZE_POLICY 为AUTO,然后调整PGA_AGGREGATE_TARGET即可。
    以下条件下hash join可能有优势:
    两个巨大的表之间的连接。
    在一个巨大的表和一个小表之间的连接。
    可用ordered提示来改变CBO默认的驱动表,可用USE_HASH(table_name1 table_name2)提示来强制使用hash join。

    SORT MERGE JOIN

    sort merge join的操作通常分三步:对连接的每个表做table access full;对table access full的结果进行排序;进行merge join对排序结果进行合并。sort merge join性能开销几乎都在前两步。一般是在没有索引的情况下,9i开始已经很少出现了,因为其排序成本高,大多为hash join替代了。
    通常情况下hash join的效果都比sort merge join要好,然而如果行源已经被排过序,在执行sort merge join时不需要再排序了,这时sort merge join的性能会优于hash join。
    在全表扫描比索引范围扫描再通过rowid进行表访问更可取的情况下,sort merge join会比nested loops性能更佳。
    可用USE_MERGE(table_name1 table_name2)提示强制使用sort merge join。
     
     
     
     

    Nested Loops Join(嵌套连接)  

    http://blog.163.com/hai_zone/blog/static/2646113720123221460589/

    Nested Loops Join(嵌套连接)

    Sql Server支持三种物理连接:nested loops join,merge join和hash join.这篇文章,我将描述nested loops join
    (或者简称为NL)。

    基本算法


    最简单的情况是,nested loop会以连接谓词为条件取出一张表里的每一行(称为外部表)
    与另外一张表(称为内部表)的每一行进行比较来寻找符合条件的行。(注意这里的"内部"和"外部"是具有多层含义的,必须从
    上下文中来理解它们。"内部表"和"外部表"是指连接的输入,"内连接"和"外连接"是指逻辑操作。)

    我们可以用伪码来解释这个算法:


    for each row R1 in the outer table
        for each row R2 in the inner table
            if R1 joins with R2
                return (R1, R2)

    因为算法里的嵌套循环,所以命名为嵌套连接。

    从比较的总行说来说,这种算法的成本是与外部表行数乘以内部表的行数成比例的。随着驱动表行数的增长
    的成本增长是很快的,在实际情况我们通过减少内部表行数来减小算法的成本的。

    还是以上篇文章给出的方案为例:


    create table Customers (Cust_Id int, Cust_Name varchar(10))
    insert Customers values (1, 'Craig')
    insert Customers values (2, 'John Doe')
    insert Customers values (3, 'Jane Doe')
     

    create table Sales (Cust_Id int, Item varchar(10))
    insert Sales values (2, 'Camera')
    insert Sales values (3, 'Computer')
    insert Sales values (3, 'Monitor')
    insert Sales values (4, 'Printer')

    进行如下查询:


    select *
    from Sales S inner join Customers C
    on S.Cust_Id = C.Cust_Id
    option(loop join)


    我加入了"loop join"提示来强迫优化器使用nested loops join.和"set statistics profile on"
    一起运行得到如下的执行计划:


    Rows Executes
     
    3    1         |--Nested Loops(Inner Join, WHERE:([C].[Cust_Id]=[S].[Cust_Id]))
     
    3    1            |--Table Scan(OBJECT:([Customers] AS [C]))
     
    12   3            |--Table Scan(OBJECT:([Sales] AS [S]))
     


    这份执行计划里Customers是外部表,Sales是内部表。首先扫描Customers表。每次取出一个Customer,
    对于每一个customer,都要扫描Sales表。因为有3个Customers,所以Sales表被扫描了3次。每次扫描返回
    4行。判断每一个sale与当前的customer是否具有相同的Cust_Id,如果相同就返回这一对行.我们有3个
    customer和4个sale所以我们进行了3*4=12次比较。其中只有3次比较符合条件。

    如果在Sales表创建索引会是什么情况呢:


    create clustered index CI on Sales(Cust_Id)

    我们得到了如下的执行计划:


    Rows Executes
     
    3    1        |--Nested Loops(Inner Join, OUTER REFERENCES:([C].[Cust_Id]))
     
    3    1           |--Table Scan(OBJECT:([Customers] AS [C]))
     
    3    3           |--Clustered Index Seek(OBJECT:([Sales].[CI] AS [S]), SEEK:([S].[Cust_Id]=[C].[Cust_Id]) ORDERED FORWARD)
     
    这次,并没有做全表扫描,而是进行了索引探寻。仍然进行了3次索引探寻-每个customer一次,
    但是每次索引探寻只返回了与当前Cust-Id相匹配并满足谓词条件的一条记录。所以,索引探寻只返回了
    3行,而不是全表扫描的12行。

    请注意这里索引探寻的依赖条件C.CustId来自于连接的外部表-Customers全表扫描。
    每次我们执行索引探寻(再次说明我们执行了3次-每个用户一次),C_CustId有不同的值。
    我们称C.CustId为"关联参数";如果一个nested loops join有关联参数,执行计划里会以"OUTER REFERENCES"
    显示出来。我们经常把这种以依赖于关联参数的索引探寻方式执行的nested loop join称为
    "索引连接"。这是非常常见的场景。


    Nested loops join支持什么类型的连接谓词?


    Nested loops join支持包括相等连接谓词和不等谓词连接在内的所有连接谓词。

    Nested loops join支持什么类型的逻辑连接?


    Nested loops join支持以下类型的逻辑连接:

    * Inner join
    * Left outer join
    * Cross join
    * Cross apply and outer apply
    * Left semi-join and left anti-semi-join

    Nested loops join不支持以下逻辑连接:

    * Right and full outer join
    * Right semi-join and right anti-semi-join

    为什么Nested loops join 只支持左连接?


    我们很容易扩展Nested loops join 算法来支持left outer 和semi-joins.例如,下边是左外连接的伪码。
    我们可以写出相似的代码来实现 left semi-join 和 left anti-semi-join.

    for each row R1 in the outer table
        begin
            for each row R2 in the inner table
                if R1 joins with R2
                    return (R1, R2)
            if R1 did not join
                return (R1, NULL)
        end

    这个算法记录我们是否连接了一个特定的外部行。如果已经穷尽了所有内部行,但是没有找到一个
    符合条件的内部行,就把该外部行做为NULL扩展行输出。

    那么我们为什么不支持right outer join呢。在这里,我们想返回符合条件的行对(R1,R2)
    和不符合连接条件的(NULL,R2)。问题是我们会多次扫描内部表-对于外部表的每行都要扫描一次。
    在多次扫描过程中我们可能会多次处理内部表的同一行。这样我们就无法来判断某一行到底符合
    不符合连接条件。更进一步,如果我们使用index join,一些内部行可能都不会被处理,但是这些行在
    外连接时是应该返回的。


    幸运的是right outer join可以转换为left outer join,right semi-join可以转换为left semi-join,
    所以right outer join和semi-joins是可以使用nested loops join的。但是,当执行转换的时候可能会
    影响性能。例如,上边方案中的"Customer left outer join Sales",由于表内部表Sales有聚集索引,所以
    我们在连接过程中可以使用索引探寻。如果"Customer right outer join Sales" 转换为 "Sales left outer
    join Customer”,我们则需要在Customer表上具有相应的索引了。

    full outer joins是什么情况呢?


    nested loops join完全支持outer join.我们可以把"T1 full outer join T2"转换为"T1 left outer join T2
    UNION T2 left anti-semi-join T1".可以这样来理解,将full outer join转换为一个左连接-包含T1和T2所有的
    符合条件的连接行和T1表里没有连接的行,然后加上那些使用anti-semi-join从T2返回的行。下边是转换过程:

    select *
    from Customers C full outer join Sales S
    on C.Cust_Id = S.Cust_Id

    Rows Executes
     
     
    5    1        |--Concatenation
     
    4    1           |--Nested Loops(Left Outer Join, WHERE:([C].[Cust_Id]=[S].[Cust_Id]))
     
    3    1           |    |--Table Scan(OBJECT:([Customers] AS [C]))
     
    12   3           |    |--Clustered Index Scan(OBJECT:([Sales].[Sales_ci] AS [S]))
     
    0    0           |--Compute Scalar(DEFINE:([C].[Cust_Id]=NULL, [C].[Cust_Name]=NULL))
     
    1    1                |--Nested Loops(Left Anti Semi Join, OUTER REFERENCES:([S].[Cust_Id]))
     
    4    1                  |--Clustered Index Scan(OBJECT:([Sales].[Sales_ci] AS [S]))
     
    3    4                  |--Top(TOP EXPRESSION:((1)))
     
    3    4                       |--Table Scan(OBJECT:([Customers] AS [C]), WHERE:([C].[Cust_Id]=[S].[Cust_Id]))
     

    注意:在上边的例子中,优化器并选择了聚集索引扫描而不是探寻。这完全是基于成本考虑而做出的决定。表非常小(只有一页)
    所以扫描或探寻并没有什么性能上的区别。

    NL join好还是坏?


    实际上,并没有所谓"最好"的算法,连接算法也没有好坏之分。每一种连接方式在正确的环境下性能非常好,
    而在错误的环境下则非常差。因为nested loops join的复杂度是与驱动表大小和内部表大小乘积成比例的,所以在驱动表比较小
    的情况下性能比较好。内部表不需要很小,但是如果非常大的话,在具有高选择性的连接列上建立索引将很有帮助。

    一些情况下,Sql Server只能使用nested loops join算法,比如Cross join和一些复杂的cross applies,outer applies,
    (full outer join是一个例外)。如果没有任何相等连接谓词的话nested loops join算法是Sql Server的唯一选择。

  • 相关阅读:
    今天的温度还是有点高.....
    [React] 点击---图片90°旋转
    javascript onclick事件可以调用两个方法吗?
    vue 页面回退mounted函数不执行的问题及解决方法
    vue static和assets的区别
    js实现复制|剪切指定内容到粘贴板--clipboard
    纯前端html导出pdf--分页+不分页--html2canvas+jsPDF
    git常用命令行
    浅谈“观察者模式”那点小事儿
    [Linq] ORM
  • 原文地址:https://www.cnblogs.com/rattersnake/p/3007072.html
Copyright © 2011-2022 走看看