zoukankan      html  css  js  c++  java
  • 第一个Hadoop程序-单词计数

    上一篇配置了Hadoop,本文将测试一个Hadoop的小案例

    hadoop的Wordcount程序是hadoop自带的一个小的案例,是一个简单的单词统计程序,可以在hadoop的解压包里找到,如下:

    1、启动Hadoop

    2、进入上面的路径找到hadoop-mapreduce-examples-2.6.5.jar 包

    下面命令可以查看这个jar包括哪些工具

    可以看出hadoop-mapreduce-examples-2.6.5.jar 下面不只有单词统计案例,本文只演示单词统计

    3、执行命令查看wordcount

    4、在当前目录下创建test1文件夹,在文件夹下创建两个TXT文件,cat命令查看文本内容

    5、在Hadoop文件系统中中创建一个test1目录,注意目录的切换

    查看Hadoop上创建的这个目录

    6、将在刚刚(../share/hadoop/mapreduce/test1)创建好的文件上传到HDFS,注意目录的切换

     

    查看目录,上传成功

    7、运行程序

    8、查看结果

    9、若要删除,则执行下面指令
    $ hadoop fs -rmr /input1
    $ hadoop fs -rmr /output1
  • 相关阅读:
    ORB_SLAM2 源码阅读 ORB_SLAM2::ORBextractor
    macOS 安装 pcl 1.8.0
    [LeetCode] #112 #113 #437 Path Sum Series
    Mybatis之Plus
    Spring实战经验
    linux命令汇总
    跨域问题
    Python之mqtt接收异步消息
    Python之IO模块
    python多线程库之threading
  • 原文地址:https://www.cnblogs.com/suwy/p/9094282.html
Copyright © 2011-2022 走看看