zoukankan      html  css  js  c++  java
  • mapreduce 运行-指定各种运行参数

    mapreduce指定参数

    mapreduce在运行的时候可以指定各种参数,这样可以根据实际的应用场景做一下相关的调整

    1.指定运行时cpu的个数

    hadoop jar hadoop-core-0.1.0-SNAPSHOT.jar cn.hadoop.mapreduce.WordCount -D mapreduce.map.cpu.vcores=2 /home/input /home/output

    -D mapreduce.map.cpu.vcores=2 :指定这个mapreduce任务运行时cpu的个数

    /home/input :指定的输入hdfs路径

    /home/output:指定的输出hdfs路径

    查看结果:http://kafka-test01:8088/proxy/application_1488814616605_0007

     点击Configuration查看相关的配置:

     

    2.指定运行时memory的大小

    hadoop jar hadoop-core-0.1.0-SNAPSHOT.jar cn.hadoop.mapreduce.WordCount -D mapreduce.map.memory.mb=2048 /home/input/ /home/output/

    mapreduce.map.memory.mb=2048 :指定这个mapreduce任务运行时内存的大小

    /home/input :指定的输入hdfs路径

    /home/output:指定的输出hdfs路径

    查看结果:http://kafka-test01:8088/proxy/application_1488814616605_0005

     点击Configuration查看相关的配置:

  • 相关阅读:
    Python基础:28正则表达式
    Remove Duplicates from Sorted Array
    Reverse Nodes in k-Group
    Merge k Sorted Lists
    Generate Parentheses
    Container With Most Water
    Regular Expression Matching
    Median of Two Sorted Arrays
    sql 子查询
    linux安装服务器
  • 原文地址:https://www.cnblogs.com/chushiyaoyue/p/6519355.html
Copyright © 2011-2022 走看看