zoukankan      html  css  js  c++  java
  • 学习hadoop的HelloWorld——单词统计WordCount

    学习java时,第一个运行的程序就是HelloWorld;对应的,学习hadoop第一个运行的程序是hadoop提供的示例WordCount;

    1.运行hadoop,以管理员身份打开cmd,执行 start-all 指令,hadoop的安装和配置是事先准备好的,安装和配置的方法可以看我的上一篇文章:windows下安装和配置hadoop

    2.执行hadoop fs -ls /,查看Hadoop文件系统根目录下的包含的目录,这3个目录是上一次运行单词统计中生成的,为了重新演示,删除这些目录,执行hadoop fs -rm -r /input /output /tmp

    3.到hadoop安装目录下,我的安装目录是D:hadoophadoop-3.2.2,安装目录下有一个LICENSE.txt文件,对这个文件的内容进行单词统计,将这个文件加入到hadoop文件系统的input目录下,input目录下放置一个或多个要统计的文件;

    首先在hadoop文件系统中创建input文件夹,执行hadoop fs -mkdir /input

    然后ls可以看到新建了input目录

    4.将LICENSE.txt文件加入到hadoop文件系统的input目录下,执行hadoop fs -put LICENSE.txt /input/,然后ls可以看到input下有LICENSE.txt文件

    5.进行单词统计,WordCount的程序是hadoop的示例程序,位置在hadoop的安装目录下的sharehadoopmapreducehadoop-mapreduce-examples-3.2.2.jar,运行这个jar,执行

    hadoop jar sharehadoopmapreducehadoop-mapreduce-examples-3.2.2.jar wordcount /input /output

    6.查看输出的结果,使用ls指令可以看到hadoop文件系统中出现了output目录和tmp目录,output目录下新出现了_SUCCESS文件和part-r-00000文件,单词统计的结果在part-r-00000文件中

    查看 part-r-00000文件文件内容,执行hadoop fs -cat /output/part-r-00000,可以看到单词统计的结果:

  • 相关阅读:
    CF1202F You Are Given Some Letters...
    CF1178E Archaeology
    PTA (Advanced Level) 1005 Spell It Right
    PTA (Advanced Level) 1004 Counting Leaves
    Qt5——从零开始的Hello World教程(Qt Creator)
    PTA (Advanced Level) 1003 Emergency
    PTA (Advanced Level) 1002 A+B for Polynomials
    HDU 1272 小希的迷宫
    FZU 2150 Fire Game
    HihoCoder
  • 原文地址:https://www.cnblogs.com/xhj123/p/15361918.html
Copyright © 2011-2022 走看看