zoukankan      html  css  js  c++  java
  • 理解MapReduce计算构架

    用Python编写WordCount程序任务

    程序

    WordCount

    输入

    一个包含大量单词的文本文件

    输出

    文件中每个单词及其出现次数(频数),并按照单词字母顺序排序,每个单词和其频数占一行,单词和频数之间有间隔

            1.编写map函数,reduce函数 

                首先先创建文件

                   

              然后编写两个函数

              

         

        2.将其权限作出相应修改

             

         3. 本机上测试运行代码

          

          

           5.放到HDFS上运行

            下载并上传文件到hdfs上

        

        6.  用Hadoop Streaming命令提交任务

            先找到Streaming的Jar包

           配置默认环境变量

           

          让配置生效并测试

          

          编写run.sh脚本程序

       

          运行结果

        

       

  • 相关阅读:
    Poj2033
    CodeForces 540
    CodeForces 548
    LeetCode#2 Add Two Numbers
    CodeForces 544A
    POJ 2431Expedition
    HLG1116-选美大赛
    清华学堂 列车调度(Train)
    清华学堂 LightHouse
    清华学堂 Range
  • 原文地址:https://www.cnblogs.com/wwc000/p/9022277.html
Copyright © 2011-2022 走看看