zoukankan      html  css  js  c++  java
  • HIVE源码(5):HQL 转换为 MR 源码详细解读(4)

    接下来的步骤包括:
    1)将 AST 转换为 QueryBlock 进一步转换为 OperatorTree;
    2)对 OperatorTree 进行逻辑优化(LogicalOptimizer);
    3)将 OperatorTree 转换为 TaskTree(任务树);
    4)对 TaskTree 进行物理优化(PhysicalOptimizer)。
    之所以将这 4 个步骤写在一起,是因为这几个步骤在源码中存在于一个方法中。
    1 compile 方法(接 2.4.2 节 compile 方法继续往下)

     

    2 analyze 方法

    3 analyzeInternal 方法

    此方法为“org.apache.hadoop.hive.ql.parse.BaseSemanticAnalyzer”抽象类的抽象方法,
    我们进入实现类“org.apache.hadoop.hive.ql.parse.SemanticAnalyzer”的 analyzeInternal 方法。

     

    4 继续调用重载的 analyzeInternal 方法
    注意:该段源码中出现的“1,2,3,4…11”均为源码所定义步骤,该方法代码虽然很长,
    但是由于存在官方提供的步骤注释,其实读懂并不难。

     

     

     

     

     

     

     

     

    5 提交任务并执行(接 2.3.8 节 runInternal 方法继续往下)
    此处接 2.3.8 节中的第二步:
    6 execute 方法

     

    7 launchTask 方法

     

     

    8 runSequential 方法

    9 executeTask 方法 

    10 execute 方法 

    此时我们进入了一个抽象“org.apache.hadoop.hive.ql.exec.Task”的“execute”方法,我们 则 需 要 找 到 一 个 实 现 类 的 “ execute ” 方 法 , 此 处 我 选 择
    “org.apache.hadoop.hive.ql.exec.mr.MapRedTask”这个类。 

     

     

     

    本文来自博客园,作者:秋华,转载请注明原文链接:https://www.cnblogs.com/qiu-hua/p/15173241.html

  • 相关阅读:
    mysql 查询技巧
    如何查看mysql索引
    windows下安装redis以及简单的事例
    Buildroot make网卡interfaces文件被修改
    VirtualBox只能生成32位虚拟机
    python-websocket-server hacking
    crontab定时任务
    Linux修改串口irq
    emmc boot_config文件不存在
    /dev/mem直接操作硬件寄存器
  • 原文地址:https://www.cnblogs.com/qiu-hua/p/15173241.html
Copyright © 2011-2022 走看看