zoukankan      html  css  js  c++  java
  • MapReduce Tez Storm Spark四个框架的异同

    MapReduceTezStormSpark四个框架的异同 

      1) MapReduce:是一种离线计算框架,将一个算法抽象成Map和

    Reduce两个阶段进行处理,非常适合数据密集型计算。

      2) Spark:MapReduce计算框架不适合迭代计算和交互式计算

    ,MapReduce是一种磁盘计算框架,而Spark

    则是一种内存计算框架,它将数据尽可能放到内存中以提高迭代应用和交互式应用的计算效率。

     3) Storm:MapReduce

    也不适合进行流式计算、实时分析,比如广告点击计算等,而Storm

    则更擅长这种计算、它在实时性要远远好于MapReduce计算框架。

      4)Tez: 运行在YARN之上支持DAG作业的计算框架,对

    MapReduce数据处理的归纳。它把Map/Reduce

    过程拆分成若干个子过程,同时可以把多个Map/Reduce任务组合成一个较大的DAG

    任务,减少了Map/Reduce

    之间的文件存储。同时合理组合其子过程,也可以减少任务的运行时间。

    MapReduceTezStormSpark

    四个框架的异同

     

     

    liu0457

     

     

    1

     

    MapReduce:

    是一种离线计算框架,

    将一个算法抽象成

    Map

     

    Reduce

    两个阶段进行处理,非常适合数据密集型计算。

     

     

    2

     

    Spark:MapReduce

     

    MapReduce

    是一种磁盘计算框架,而

    Spark

     

    则是一种内存计算框架,它

    将数据尽可能放到内存中以提高迭代应用和交互式应用的计算效率。

     

     

    3

     

    Storm:MapReduce

     

    也不适合进行流式计算、实时分析,比如广告点

    击计算等,而

    Storm

     

    则更擅长这种计算、它在实时性要远远好于

    MapReduce

    计算框架。

     

     

    4

    Tez: 

    运行在

    YARN

    之上支持

    DAG

    作业的计算框架,对

     

    MapReduce

    数据处理的归纳。它把

    Map/Reduce

     

    过程拆分成若干个子过程,同时可

    以把多个

    Map/Reduce

    任务组合成一个较大的

    DAG

     

    任务,减少了

    Map/Reduce

     

    之间的文件存储。同时合理组合其子过程,也可以减少任

    务的运行时间。

  • 相关阅读:
    python之turtle画蚊香
    day08:多表查询
    day07:内置函数
    day06:基础查询
    day05:Navicat 图形化客户端的基本使用
    day04:MySQL数据库表的基本命令
    day03:MySQL数据库的使用
    day02:MySQL数据库的安装
    day01:数据库和SQL概述
    51单片机学习笔记(清翔版)(13)——LED点阵、74HC595
  • 原文地址:https://www.cnblogs.com/junjiany/p/6364859.html
Copyright © 2011-2022 走看看