zoukankan      html  css  js  c++  java
  • Hadoop Streaming框架使用(二)

    上一篇文章介绍了Streaming的各种参数,本文具体介绍使用方法。

    提交hadoop任务示例: 

      $HADOOP_HOME/bin/hadoop streaming \

    -input /user/test/input -output /user/test/output \ 

    -mapper “mymapper.sh” -reducer “myreducer.sh” \

    -file/home/work/mymapper.sh \

    -file /home/work/myreducer.sh \

    -jobconf mapred.job.name=”file-demo” 

    上面的命令提交了一个hadoop任务,输出和输入分别为 /user/test/output 和/user/test/input。 map程序为 mymapper.sh,reduce程序为myreducer.sh。这里需要注意一定要将这两个文件用-file分发到集群的节点上。最后一行指定了任务的名字。

    还有一些较为复杂的使用,比如需要指定任务个数等,可以使用

    -jobconf mapred.job.map.capacity=m -jobconf mapred.job.reduce.capacity=n 

    上面的命令设置最多同时运行mmap任务,nreduce任务,如果mn0或者没有指定,则对应的capacity没有限制,默认配置就是0没有限制。建议在运行作业时都设置mapreduce capacity,防止作业占用过多资源。

  • 相关阅读:
    [LUOGU] P2196 挖地雷
    [LUOGU] P1020 导弹拦截
    [LUOGU] P2543 [AHOI2004]奇怪的字符串
    [LUOGU] P2759 奇怪的函数
    [LUOGU] P1048 采药
    [LUOGU] P1396 营救
    [LUOGU] P1196 [NOI2002]银河英雄传说
    [LUOGU] 2820 局域网
    知识点
    swich使用
  • 原文地址:https://www.cnblogs.com/xupeizhi/p/2943362.html
Copyright © 2011-2022 走看看