zoukankan      html  css  js  c++  java
  • Hadoop 的核心:Mapreduce思想说明

    Mapreduce思想

    1. 就是做一个计算,如果计算过程中如果数据传输消耗的资源大于计算消耗的资源,考虑在计算过程中,将算法(程序),移动到数据存放的服务器中,再进行计算。

    2. 在做一个巨型计算时,利用多台(例如 2000 )台服务器的 cpu 和内存同时计算。

    算法描述

    第一种方式描述

    将计算要用的数据切分,放在各个服务器上,然后将计算程序分发到各个服务器,计算出各个部分的结果。最后将各个计算结果合并。
    第二种方式描述

    另外一种描述为, MapReduce 的名字源于这个模型中的两项核心操作: Map 和 Reduce 。也许熟悉 Functional Programming (函数式编程)的人见到这两个词会倍感亲切。简单的说来, Map 是把一组数据一对一的映射为另外的一组数据,其映射的规则由一个函数来指定,比如对 [1, 2, 3, 4] 进行乘 2 的映射就变成了 [2, 4, 6, 8] 。 Reduce 是对一组数据进行归约,这个归约的规则由一个函数指定,比如对 [1, 2, 3, 4] 进行求和的归约得到结果是 10 ,而对它进行求积的归约结果是 24

    总的来说算法必须可以切分,包含小列步骤。

    切分、分别计算、合并。

    最典型的是大规模日志计算。

  • 相关阅读:
    利用本地浏览器远程服务器上的jupyter notebook
    解决IIS服务器Web访问提示输入密码
    IIS 配置
    override new 关键字的区别
    ASP.NET的网站的设计与优化
    山东人!
    远程连接SQL Server 2000服务器的解决方案
    对软件的新认识
    一个程序员成长的六个阶段
    优秀程序员应当具备的品质
  • 原文地址:https://www.cnblogs.com/wjc0918/p/6097486.html
Copyright © 2011-2022 走看看