zoukankan      html  css  js  c++  java
  • 910每日博客

    今天了解一下MapReduce。

    MapReduce 定义
    MapReduce 是一个分布式运算程序的编程框架,是用户开发“基于 Hadoop 的数据分析
    应用”的核心框架。
    MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的
    分布式运算程序,并发运行在一个 Hadoop 集群上。

    优点

    1 )MapReduce 易于编程
    它简单的实现一些接口,就可以完成一个分布式程序,这个分布式程序可以分布到大量
    廉价的 PC 机器上运行。也就是说你写一个分布式程序,跟写一个简单的串行程序是一模一
    样的。就是因为这个特点使得 MapReduce 编程变得非常流行。
    2 ) 良好的扩展性
    当你的计算资源不能得到满足的时候,你可以通过简单的增加机器来扩展它的计算能力。
    3 ) 高容错性
    MapReduce 设计的初衷就是使程序能够部署在廉价的 PC 机器上,这就要求它具有很高
    的容错性。比如其中一台机器挂了,它可以把上面的计算任务转移到另外一个节点上运行,
    不至于这个任务运行失败,而且这个过程不需要人工参与,而完全是由Hadoop内部完成的。
    4 ) 适合 PB 级以上海量数据的离线处理
    可以实现上千台服务器集群并发工作,提供数据处理能力。

    缺点
    1 )  不擅长实时计算

    MapReduce 无法像 MySQL 一样,在毫秒或者秒级内返回结果。
    2 ) 不擅长流式计算
    流式计算的输入数据是动态的,而 MapReduce 的输入数据集是静态的,不能动态变化。
    这是因为 MapReduce 自身的设计特点决定了数据源必须是静态的。
    3 ) 不擅长 DAG (有向 无环 图)计算
    多个应用程序存在依赖关系,后一个应用程序的输入为前一个的输出。在这种情况下,
    MapReduce 并不是不能做,而是使用后,每个 MapReduce 作业的输出结果都会写入到磁盘,
    会造成大量的磁盘 IO,导致性能非常的低下。

  • 相关阅读:
    插入排序
    阅读书单 2012 8月至12月
    sed学习1
    sed入门(一直在改变系列2)
    linux find资料(一直在改变系列4)
    awk入门(一直在改变系列1)
    分治算法
    shell脚本知识点1(一直在改变系列3)
    选择排序(selection sort)
    英语单词循环记忆第一期(自学使用)
  • 原文地址:https://www.cnblogs.com/ruangongwangxiansheng/p/14161540.html
Copyright © 2011-2022 走看看