zoukankan      html  css  js  c++  java
  • Join Reorder优化

    Query Simplification: Graceful Degradation for Join-Order Optimization

    这篇的related work可以参考,列的比较全面,

    Query图分为下面几种,

    Graph Simplification算法,

    Heuristic

    Optimization of Large Join Queries: Combining Heuristic and Combinatorial Techniques

    这篇文章的主要观点,结合Combinatorial和Heuristic

    Combinatorial意思是组合

    组合优化问题就是,在状态空间中寻找一个最优的状态,状态的cost由cost function来决定

    Combinatorial优化算法主要分为两种,

    Iterative算法,这里主要是指repeat,不断随机重试,以找到更优解

    退火算法, 

    Heuristic算法,

    首先,Augmentation Heuristic

    初始只有第一张关系表,

    然后一张张往上加,加哪一个取决于chooseNext函数

    下面给出一些可以用作chooseNext的指标,论文说实验结果是3的效果最好

    KBZ Heuristic

    算法分为三个部分,

    R,给定一个rooted tree,给出optimal join ordering

    T,给定一个join tree,遍历所有的root,用R找出每个rooted tree的optimal

    G,给定一个join graph,可能cyclic,找出一个spanning tree(生成树),调用T

    Local Improvement

    分而治之,表数太多的时候,穷举的代价很高,但是切分成小的cluster,就会简单许多

    同样这样也无法得到最优解,cluster可以重合

     最后如果把两个技术结合起来?

    II和SA就是两种基本的Combinatorial方法,

    SAA,SAK分别把augmentation和KBZ两种Heuristic方法用于SA,用于产生一个较优的initial state

    IAI,IKI,用Heuristic的方法产生每一轮迭代的initial state

    IAL,加入local improvement

    AGI,KBI,先用Heuristic产生state,再用Iterative去优化

    A New Heuristic for Optimizing Large Queries

    查询优化的目的是避免worst plans,而不是找到best plan,在这样的假设下,启发式算法可能会达到比较好的效果

    当前基于combinatorial优化技术(比如iterative或退火)的cost-based searching,已经取得了一定的效果,但是当前的方法并没有利用queries中inherent的semantic information

    所以基本的思路就是,在当前cost-based searching的基础上利用semantic information,从而提出Goo算法,Greedy Operator Ordering

    这是一种,Greedy的bottom up算法

    Node关键属性是Size,Edge关键属性是Selectivity

    Goo的目的是逐渐合并各个node,

    合并的标准是,每次都是找产生中间结果最小的edge进行合并

    很明显,Goo产生的肯定不是最优解

    一般的思路都是,基于启发式的结果,进行进一步的调整和优化,找到更优解,

    比如,增加一组rules,bottom up的试图apply这些rules得到更好的结果

    Polynomial Heuristics for Query Optimization

    One line of work adapts randomized techniques and combinatorial heuristics to address this problem.
    These techniques consider the space of plans as points in a high-dimensional space, that can be “traversed” via transformations (e.g., join commutativity and
    associativity).
    Reference [13] surveys different such strategies, including iterative improvement, simulated annealing, and genetic algorithms.
    These techniques can be seen as heuristic variations of transformation-based exhaustive enumeration algorithms.
    Another line of work implements heuristic variations of dynamic programming. These approaches include reference [14] (which performs dynamic programming for a
    subset of tables, picks the best k-table join, replaces it with a new “virtual” table, and repeats the procedure until all tables are part of the final plan),
    reference [15] (which simplifies an initial join graph by disallowing non-promising join edges and then exhaustively searches the resulting, simpler problem using [8]), and references [16], [17] (which greedily build join trees one table at a time).

    本文首先给出一个分类,比较新颖,

    启发式是优化的基本技术,分为对于Transformation-based技术的启发式优化,和动态规划的启发式优化

    其中Heuristic DP算法都是基于graph的,可以采用iterative的方式,根据cost等信息降低搜索空间等,或者用Greedy算法

    但是文中说除了greedy的方案,其他的性能都太差

    所以文中给出一个通用的Greedy算法框架,ERM

    P包含所有Plan,目的就是不断的merge plan,最终只剩下一个plan,这个就是Greedy算法的目的,参考GOO

    算法叫ERM,分为3个阶段,

    首先要找出可以用于merge的所有plan,关键是Valid函数,不同要求下,valid定义不一样

    边上的例子,给出linear tree和bushy tree的差异

    第二个阶段是Ranking,即Maximizes函数,

    如果挑出合并哪两个plan是最优的,

    有如下函数可以选择,本文提出MinSize,考虑tuples本身的长度,效果更好些

    第三个阶段Merging,即merge函数

    简单的直接用join链接两个plan即可

    但是merge可以更加flexible,

    文中用Swith-HJ,考虑hashjoin的join顺序,Swith-Idx,考虑index所带来的影响

    还提出Push,Pull两种方式,

    Push,

    过程简单的看下图,要把P2 push到P1的R3上,而不是直接的join链接

    Push的好处,修正Greedy的局部限制 

    同时还有Pull,

    以及把Push和Pull加入算法的BSizePP,

     后续文中还讨论了,Beyond Join Reordering,包含Group-by,Semi-join,Outer-join等

    Iterative

    Iterative Dynamic Programming: A New Class of Query Optimization Algorithms

    本文提出的IDP算法,算是DP的Heuristic优化,

     先看下标准的DP和Greedy算法是怎么样的

    看下两者结合的算法,

    IDP1 

    如果在有限的资源,内存,有限的时间里面,去做DP

    比如当前的内存只够做k-way的,做到k+1 way就crash了

    给出的方法是,做到k-way后,用Greedy算法直接挑一个最优的plan,继续,其他的都不考虑

    算法中,红色部分是DP,蓝色部分是Greedy,这里注意optPlan仅仅保留P,最优的plan

    实际看个例子,k=3

    IDP2

    先Greedy后DP的算法,

    算法如下,

    先用Greedy算法找出K个左右tables的block,再用DP优化这个block

    然后把block放回todo里面,继续这个流程,直到最终得到一个plan

     这里,算法存在变体,

    standard和balanced,是否限制k的大小,k太大会影响最终plan的优化效果,

    比如,对于下面的例子,最优plan是a

    但是如果k=3,那么选中的子plan是b,那么最终只会产生右边的两个plan

    如果k=2,就能生成最优的plan

     

     bestPlan和bestRow,是否仅仅保留一个最优的plan

  • 相关阅读:
    第五周作业
    1.一维数组:选择排序法、二分查找法; 2.二维数据:定义、引用、初始化,二维数组与矩阵。
    基础作业 本周没上课,但是请大家不要忘记学习。 本周请大家完成上周挑战作业的第一部分:给定一个整数数组(包含正负数),找到一个具有最大和的子数组,返回其最大的子数组的和。 例如:[1, -2, 3, 10, -4, 7, 2, -5]的最大子数组为[3, 10, -4, 7, 2] 输入: 请建立以自己英文名字命名的txt文件,并输入数组元素数值,元素值之间用逗号分隔。 输出 在不删除原有文件内容
    2019年春季学期第二周作业 基础作业 请在第一周作业的基础上,继续完成:找出给定的文件中数组的最大值及其对应的最小下标(下标从0开始)。并将最大值和对应的最小下标数值写入文件。 输入: 请建立以自己英文名字命名的txt文件,并输入数组元素数值,元素值之间用逗号分隔。 输出 在不删除原有文件内容的情况下,将最大值和对应的最小下标数值写入文件
    人生路上对我影响最大的三位老师
    秋季总结
    抓老鼠啊~亏了还是赚了?
    币值转换
    打印沙漏
    第十一周编程总结
  • 原文地址:https://www.cnblogs.com/fxjwind/p/11609913.html
Copyright © 2011-2022 走看看