zoukankan      html  css  js  c++  java
  • hadoop wordcout测试

    hadoop wordcout测试

    安装好hadoop 环境后,启动HDFS等服务;输密码
    1004 start-all.sh
    查看启动情况
    1006 jps

    1007 cd ~ 切换到用户默认目录 

    创建数据文件data.txt,输送值 hello beijing hello China 
    1028 vi data.txt

    切到hadoop-2.4.1
    1032 cd /usr/local/bin/hadoop-2.4.1/

    在hdfs文件系统中新建data文件夹,用来放输入及输出的文件;

    hdfs dfs -p /data/

    将data.txt文件上传到/data中为输入文件
    1039 hdfs dfs -put ~/data.txt /data

    查看上传到hdfs文件系统中的data.txt文件
    1040 hdfs dfs -ls /
    1041 hdfs dfs -ls /data

    cd /usr/local/bin/hadoop-2.4.1/share/...hadoop-mapreduce-examples-2.4.1.jar文件所在目录。

    执行WORDCOUT命令,以下 /data/data.txt  为hdfs系统的输入文件,/data/ouput为计算结果文件。
    1071 hadoop jar hadoop-mapreduce-examples-2.4.1.jar wordcount /data/data.txt /data/ouput
    当map 及preduce都100%计算完成时,查看计算结果
    1082 hdfs dfs -ls /data/ouput
    1083 hdfs dfs -cat /data/ouput/part-r-00000

  • 相关阅读:
    MathType中怎么设置字体默认颜色
    MathType二次偏导怎么表示
    简单几步让你的公式逼格爆表!
    登陆
    输入框
    表单
    窗体
    hello world
    net 代码生成
    Sql_server四种执行ExecuteReader、ExecuteNonQuery、ExecuteScalar、DataSet.docx
  • 原文地址:https://www.cnblogs.com/tuozizhang/p/10261735.html
Copyright © 2011-2022 走看看