zoukankan      html  css  js  c++  java
  • mapreduce 运行-指定各种运行参数

    mapreduce指定参数

    mapreduce在运行的时候可以指定各种参数,这样可以根据实际的应用场景做一下相关的调整

    1.指定运行时cpu的个数

    hadoop jar hadoop-core-0.1.0-SNAPSHOT.jar cn.hadoop.mapreduce.WordCount -D mapreduce.map.cpu.vcores=2 /home/input /home/output

    -D mapreduce.map.cpu.vcores=2 :指定这个mapreduce任务运行时cpu的个数

    /home/input :指定的输入hdfs路径

    /home/output:指定的输出hdfs路径

    查看结果:http://kafka-test01:8088/proxy/application_1488814616605_0007

     点击Configuration查看相关的配置:

     

    2.指定运行时memory的大小

    hadoop jar hadoop-core-0.1.0-SNAPSHOT.jar cn.hadoop.mapreduce.WordCount -D mapreduce.map.memory.mb=2048 /home/input/ /home/output/

    mapreduce.map.memory.mb=2048 :指定这个mapreduce任务运行时内存的大小

    /home/input :指定的输入hdfs路径

    /home/output:指定的输出hdfs路径

    查看结果:http://kafka-test01:8088/proxy/application_1488814616605_0005

     点击Configuration查看相关的配置:

  • 相关阅读:
    RESTful API 设计指南
    浅析JS中的模块规范(CommonJS,AMD,CMD)
    Gitbucket—快速建立自己的Github
    单点登录详解
    Java常用类--处理日期
    Java常用类--数字常用类
    java常用类--字符串
    java常用类--系统相关
    java常用类--与用户互动
    设置PATH和CLASSPATH
  • 原文地址:https://www.cnblogs.com/chushiyaoyue/p/6519355.html
Copyright © 2011-2022 走看看