zoukankan      html  css  js  c++  java
  • mapreduce 运行-指定各种运行参数

    mapreduce指定参数

    mapreduce在运行的时候可以指定各种参数,这样可以根据实际的应用场景做一下相关的调整

    1.指定运行时cpu的个数

    hadoop jar hadoop-core-0.1.0-SNAPSHOT.jar cn.hadoop.mapreduce.WordCount -D mapreduce.map.cpu.vcores=2 /home/input /home/output

    -D mapreduce.map.cpu.vcores=2 :指定这个mapreduce任务运行时cpu的个数

    /home/input :指定的输入hdfs路径

    /home/output:指定的输出hdfs路径

    查看结果:http://kafka-test01:8088/proxy/application_1488814616605_0007

     点击Configuration查看相关的配置:

     

    2.指定运行时memory的大小

    hadoop jar hadoop-core-0.1.0-SNAPSHOT.jar cn.hadoop.mapreduce.WordCount -D mapreduce.map.memory.mb=2048 /home/input/ /home/output/

    mapreduce.map.memory.mb=2048 :指定这个mapreduce任务运行时内存的大小

    /home/input :指定的输入hdfs路径

    /home/output:指定的输出hdfs路径

    查看结果:http://kafka-test01:8088/proxy/application_1488814616605_0005

     点击Configuration查看相关的配置:

  • 相关阅读:
    Spring事务管理学习笔记
    写给初学前端工程师的一封信
    angularjs 自定义指令弹窗
    ng-if和ng-show的区别
    前端遇到的一些坑
    浏览器样式兼容总结
    百分比控制表格列宽,不起效
    ng-model 将时间戳转换为标准时间
    使用git和sourcetree提交代码的一些问题
    本地运行angularjs应用,提示出现跨域问题
  • 原文地址:https://www.cnblogs.com/chushiyaoyue/p/6519355.html
Copyright © 2011-2022 走看看