zoukankan      html  css  js  c++  java
  • 运行MapReduce任务

    1:运行MapReduce任务

    1:原始数据准备

    统计用户的登录次数:

    源数据login_log.txt如下:

    7whygb5m@linshiyouxiang.net

    nuahvuhuoia@qq.com

    uashkufawuk@163.com

    wafwqfqw@gmail.com

    iuhukawhfuk@sina.com

    wfkwbfkuw@tom.com

    iuqwhfuihuqiw@yahoo.com  

    hiuwqhuiryquiw545@yahoo.com

    uiwqyiuyr7qwrqa@sohu.com

    2:应用程序准备

    集群目录:

    $HADOOP_HOME/share/hadoop/mapreduce/中找到程序包:

    hadoop-mapreduce-examples-2.6.4.jar

    该程序包提供了一些测试模块:

    wordcount   //对输入文件中的单词进行词频统计

    pi   //估算圆周率pi的值

    wordmean  //计算输入文件中单词的平均长度

    3:提交任务指令解析

    hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar

    wordcount  /user/root/login_log.txt  /user/root/output

    说明:

    wordcount  //指定程序包的主类

    /user/root/login_log.txt   //hdfs上需要计算的源文件

    /user/root/output   //hdfs上输出文件的目录

    4:查看输出结果

    在/user/root/output目录下有两个文件:

    _SUCCESS  //这是标识文件,表示这个任务执行完成

    part-r-00000   //完成任务后产生的结果文件

    输出前5行:

    hadoop fs -cat /user/root/output/part-r-00000 | head -n 5

    5:查看集群的资源管理情况

    https://master:18088

    查看计算资源的使用情况

    查看mapreduce的任务列表

    查看具体作业的详细信息

  • 相关阅读:
    转载:GPRS发短信代码
    如何辨别假币
    【转载】软件开发方向的大学生应该学什么
    第一次喝吐了
    挑战世界2%
    45、c_str与data()
    2、Get和post的区别
    4、suse11安装apache
    1、学习用c/c++写cgi程序
    4、安装rz/sz
  • 原文地址:https://www.cnblogs.com/hemomo/p/12271518.html
Copyright © 2011-2022 走看看