zoukankan      html  css  js  c++  java
  • 大数据MapReduce相关的运维题

    1.在集群节点中/usr/hdp/2.4.3.0-227/hadoop-mapreduce/目录下,存在一个案例 JAR 包 hadoop-mapreduce-examples.jar。运行 JAR 包中的 PI 程序来进行计算圆周率π的近似值,要求运行 5 次 Map 任务,每个 Map 任务的投掷次数为 5。

    hadoop jar /usr/hdp/2.6.1.0-129/hadoop-mapreduce/hadoop-mapreduce-examples.jar  pi 5 5

     2.在集群节点中/usr/hdp/2.4.3.0-227/hadoop-mapreduce/目录下,存在一个案例 JAR 包 hadoop-mapreduce-examples.jar。运行 JAR 包中的 wordcount 程序来对/1daoyun/file/BigDataSkills.txt 文件进行单词计数,将运算结果输出到 /1daoyun/output 目录中,使用相关命令查询单词计数结果。

    hadoop jar  /usr/hdp/2.6.1.0-129/hadoop-mapreduce/hadoop-mapreduce-examples.jar wordcount /1daoyun/file/BigDataSkills.txt /1daoyun/output

    3.在集群节点中/usr/hdp/2.4.3.0-227/hadoop-mapreduce/目录下,存在一个案例JAR 包 hadoop-mapreduce-examples.jar。运行 JAR 包中的 sudoku 程序来计算下表中数独运算题的结果。

    hadoop jar /usr/hdp/2.6.1.0-129/hadoop-mapreduce/hadoop-mapreduce-examples.jar  sudoku /root/fujian/MapReduce/puzzle1.dta

    4.在集群节点中/usr/hdp/2.4.3.0-227/hadoop-mapreduce/目录下,存在一个案例 JAR 包 hadoop-mapreduce-examples.jar。运行 JAR 包中的 grep 程序来统计文件系统中/1daoyun/file/BigDataSkills.txt 文件中“Hadoop”出现的次数,统计完成后,查询统计结果信息。

    hadoop jar /usr/hdp/2.6.1.0-129/hadoop-mapreduce/hadoop-mapreduce-examples.jar grep /1daoyun/file/BigDataSkills.txt /output Hadoop

    hadoop fs -cat /1daoyun/output/part-r-00000

  • 相关阅读:
    IOS UITextField 设置光标位置
    改变UITableViewCell按下去的颜色
    BZOJ 1217 [HNOI2003]消防局的设立
    BZOJ 3751 [NOIP2014]解方程
    BZOJ 4198 [Noi2015]荷马史诗
    BZOJ 4650 [Noi2016]优秀的拆分
    BZOJ 2434 [Noi2011]阿狸的打字机
    BZOJ 3563 DZY Loves Chinese
    1834 [ZJOI2010]network 网络扩容
    BZOJ 1079 [SCOI2008]着色方案
  • 原文地址:https://www.cnblogs.com/lfz0/p/11887303.html
Copyright © 2011-2022 走看看