zoukankan      html  css  js  c++  java
  • tez是什么?

    【Apache Tez是什么?】

      http://dongxicheng.org/mapreduce-nextgen/apache-tez/

    浅谈Apache Tez中的优化技术

      http://dongxicheng.org/mapreduce-nextgen/apache-tez-optimizations/

    Apache Tez最新进展

       http://dongxicheng.org/mapreduce-nextgen/apache-tez-newest-progress/

    MapReduce和Tez对比

    http://www.cnblogs.com/linn/p/5325147.html

    安装tez

    http://blog.csdn.net/fighting_one_piece/article/details/54646124

    简单的来说tez是支持DAG的计算框架,用来替代MapReduce的。而MapReduce是基于yarn的,那么tez也是。hadoop2.7.x以上支持tez

      它直接源于MapReduce框架,核心思想是将Map和Reduce两个操作进一步拆分,即Map被拆分成Input、Processor、 Sort、Merge和Output, Reduce被拆分成Input、Shuffle、Sort、Merge、Processor和Output等,这样,这些分解后的元操作可以任意灵活组 合,产生新的操作,这些操作经过一些控制程序组装后,可形成一个大的DAG作业。

    什么DAG?举例来说,spark的RDD经过一系列计算,RDD1-->A计算-->RDD2-->-B计算->RDD3....,这些RDD计算过程描绘成的图就是DAG,用来描述任务的计算过程,那么DAG与MapReduce又有什么关系,我们知道对于一条简单的sql语句,可能会产生多个MapReduce任务。而tez就会将多个MapReduce任务描述成一个DAG,提交一次任务,那么自然效率就会提高,而且多个MapReduce任务必然涉及多次IO读写。

    什么是LLAP?

    关于ambari中的LLAP?

       参考官方文档 https://docs.hortonworks.com/

  • 相关阅读:
    [HAOI2008]硬币购物
    [NOI2006]网络收费
    [HNOI2014]米特运输
    Codeforces Round #536 (Div. 2)
    [洛谷P3931]SAC E#1
    [洛谷P1402]酒店之王
    [洛谷P4174][NOI2006]最大获利
    [CF1082G]Petya and Graph
    [CF1095F]Make It Connected
    [CF1083B]The Fair Nut and Strings
  • 原文地址:https://www.cnblogs.com/shysky77/p/7205795.html
Copyright © 2011-2022 走看看