zoukankan      html  css  js  c++  java
  • MapReduce学习

    MapReduce的实验做的差不多了,但是我对于MapReduce其实根本没有什么理解,知识硬着头皮做实验。

    现在通过老师法的PPT对MapReduce有了一个基本了解。

    MapReduce:

      用于解决大规模的数据处理,最主要的思想就是“分而治之”

    MapReduce示例:单词计数(通过此例子了解MapRedue解决问题的流程)

      给定一个巨大文本,如何计算每个单词出现的次数?

      

      使用MapReduce求解:

      Step1:对文本进行切割

      

      我理解的是,将大数据分割成小数据,然后交给集群处理

      Step2:对分割后的每一对<key,value>进行用户定义的Map处理,生成新的<key,value>

      

      这一步按我的理解就是,按照用户的规定对数据进行处理。

      Step3:对输出的结果集归拢,排序(系统自动完成)

      

      我理解的是,这是数据整理的过程,可以看到相同的单词都被集合到一起了

      Step4:通过Reduce操作生成最后结果

      

      这一步应该就是按用户想要的形式输出,形成最终结果。

    相关术语:

     

  • 相关阅读:
    C89:论内存泄漏
    C++03:模板
    C++的STL(标准模板库)系列:容器——string容器
    C++03:论类的友元函数和内联函数
    C++03:论类的运算符重载
    Windows开发:网络编程基础
    Windows开发:论文件和权限
    C89:头文件
    C89:论符号
    纪录片(深度好片)
  • 原文地址:https://www.cnblogs.com/fengchuiguobanxia/p/15578040.html
Copyright © 2011-2022 走看看