zoukankan      html  css  js  c++  java
  • Pig系统分析(7)-Pig有用工具类

    Explain

    Explain是Pig提供的调试工具,使用explain能够输出Pig Lation的运行计划。

    值得一提的是,explain支持-dot选项,将运行计划以DOT格式输出, (DOT是一种图形描写叙述语言,请參考http://zh.wikipedia.org/zh/DOT%E8%AF%AD%E8%A8%80)

    代码实现详见org.apache.pig.impl.plan.DotPlanDumper,这部分实现为我们设计运行计划可视化提供了參考。

    下图部分截取了使用Graphviz打开物理运行计划DOT文件之后生成的图。(Graphviz介绍请參考http://zh.wikipedia.org/wiki/Graphviz


    Illustrate

    Illustrate比Explain更进一步。它还会依据详细语句表达式条件自己主动生成适合运行计划的样本数据。并模拟运行。将每一步的结果依照表格输出,模拟一次完整的数据处理流程。代码实现详见org.apache.pig.pen.Illustrator。

    PigContext

    PigContext类包括Pig运行过程各个阶段须要的上下文基本信息,PigContext从前端传递到后端,一直到Hadoop Job阶段都可用。

    在Map&Reduce的初始化方法中,从Hadoop Configuration中获取PigContext。

    pigContext= (PigContext)ObjectSerializer.deserialize(job.get("pig.pigContext"));
    PigContext中比較重要信息有:

    1. execType:运行类型,local/mr。

    2. HExecutionEngine:后端运行引擎。

    3. Script files/各种jar包等。
    4. definedFunctions:funcName与funcSpec的映射。

    5. dataStorage:文件系统接口,dfs&lfs。

  • 相关阅读:
    poj 2718 Smallest Difference
    AtCoder Beginner Contest 100 2018/06/16
    aoj 0009 Prime Number
    poj 1930 Dead Fraction
    poj 3669 Meteor Shower
    aoj 0121 Seven Puzzle
    poj 2429 GCD & LCM Inverse
    aoj 0005 GCD and LCM
    aoj 0558 Cheese
    aoj 0033 玉
  • 原文地址:https://www.cnblogs.com/jhcelue/p/6815664.html
Copyright © 2011-2022 走看看