zoukankan      html  css  js  c++  java
  • 关系、组件Apache Tezby小雨

    发一下牢骚和主题无关:

        参考资料:

        官方blog:

        http://hortonworks.com/blog/author/arun_murthy/

        svn源码:

        http://hortonworks.com/blog/introducing-tez-faster-hadoop-processing/

        看到一篇很不错的文章:

        http://dongxicheng.org/mapreduce-nextgen/apache-tez/

        Tez装安:

        

        

        名称解释:

        DAG:Directed Acyclic Graph 无环有向图

        

        Tez将Map task和Reduce task进一步拆分,

        

        

        

        Tez的task由Input、processor、output阶段成组,可以抒发有所杂复的map、reduce操纵。

        

        这样,这些分解后的元操纵可以恣意活灵合组,发生新的操纵单元Task.

        举个例子:

        在传统的MR如下左图所示,而用采Tez以后则将DAG的赖依关系去除,Tez将有赖依关系的业作转换为一个业作,如下右图所示。

        

        

        

                   

        

        

                                             Pig/Hive -MR                                                  Pig/Hive -Tez

        

        

        码代结构图如下:

        

        

        

        

    •tez-api:六个可编程组件

        

    •tez-common
    •tez-engine
    •tez-mapreducetez-task-library: Tez为兼容MR供给的组件
    •tez-yarn-application
    •tez-yarn-client

        


        


        

    文章结束给大家分享下程序员的一些笑话语录: 祝大家在以后的日子里. 男生象Oracle般健壮; 女生象win7般漂亮; 桃花运象IE中毒般频繁; 钱包如Gmail容量般壮大, 升职速度赶上微软打补丁 , 追女朋友像木马一样猖獗, 生活像重装电脑后一样幸福, 写程序敲代码和聊天一样有**。

  • 相关阅读:
    总结!!!总结!!!
    Beta 总结
    BETA-7
    BETA-6
    BETA-5
    BETA-4
    BETA-3
    华为云-软件产品案例分析
    BETA-2
    BETA-1
  • 原文地址:https://www.cnblogs.com/jiangu66/p/3025981.html
Copyright © 2011-2022 走看看