zoukankan      html  css  js  c++  java
  • 【Hadoop】:MapReduce核心思想

    一.MapReduce流程介绍

    假设我们有一个任务:用于统计一个文件当中一个单词出现的总次数,查询结果保存到两个文件里,一个装载a-p单词出现的次数,一个文件装载q-z单词出现的个数。下面是这个任务使用mapreduce实现的具体流程:

     MapReduce当中需要注意的是:

    1.一个MapReduce程序运行之后,Map和Reduce阶段都可以并行执行,但是每次一个MapReduce程序只能处理一个任务,不能够多个任务并行执行。一个任务当中的每一步可以并行执行。

    2.MapReduce如果想要处理多个任务,只能进行串行执行

    二.MapReduce中的进程

    在进行分布式运行的时候,一共MapReduce任务仅有三个进程,如下所示:

    三.MapReduce编程规范

    1.Mapper阶段

     2.Reducer阶段和Driver阶段

    在Mapper阶段执行完毕之后,开始Reducer阶段的执行,如下图所示:

     完毕!!!

  • 相关阅读:

    使用docker构建fastdfs
    docker测试
    java测试远程调试(转载)
    mac上运行mongodb-community
    mac上zookeeper服务开启,kafka开启
    idea注册配置
    java-集合
    selenium+phantomjs爬取bilibili
    [转载] Python数据类型知识点全解
  • 原文地址:https://www.cnblogs.com/geeksongs/p/14261329.html
Copyright © 2011-2022 走看看