zoukankan      html  css  js  c++  java
  • MR程序的几种提交运行模式

    本地模式运行

    1-在windows的eclipse里面直接运行main方法

    将会将job提交给本地执行器localjobrunner

    • 输入输出数据可以放在本地路径下
    • 输入输出数据放在HDFS中:(hdfs://xxx:9000/wc/srcdata),如果将hdfs的配置文件放在类路径下面,那么不用写hdfs://

    2-在linux的eclipse里面直接运行main方法,但是不要提那家yarn相关的配置,也会提交给localjobrunner执行

    输入输出数据可以放在本地路径下(/home/hadoop/wc/srcdata)

    输入输出数据也可以放在hdfs中(hdfs://XXXXX:9000/wc/srcdata)

    集群模式运行

    1-将工程达成jar包上传到服务器,然后用hadoop命令提交,hadoop jar wc.jar  xx.xx.xx.xx.XXRunner

    2-在linux的eclipse中直接运行main方法,也可以提交到集群中去运行,但是,必须采取下面的措施:

    ---在工程的src目录中加入mapred-site.xml

    ---将工程达成jar包(wc.jar),同同时在main方法中添加一个conf的配置参数,conf.set("mapreduce.job.jar",“XX.jar”)

    3-在windows的eclipse中直接yunxingmain方法,也乐意提交给集群中运行,但是因为平台不兼容,需要做很多额外的设置

    ---要在windows中存放一份hadoop的安札UN该包(解压好的)

    ---要将其中的lib和bin目录替换成根据Windows版本重新编译出的文件,因为这两个目录中的文件都是和本地相关的;

    ---配置系统环境变量HADOOP_HOME和PATH

    ---修改YarnRunner这个类的源码=

  • 相关阅读:
    为什么我的从任务管理器中看见我的硬盘使用率是100%(2)
    为什么我的从任务管理器中看见我的硬盘使用率是100%(1)
    win8正式版
    pwnable_orw
    cmcc_simplerop
    分析kernel.dll函数CreateRemoteThread进0环
    [V&N2020 公开赛]easyTHeap
    恶意代码分析训练第一天
    SWPUCTF_2019_p1KkHeap
    3环函数进入0环函数
  • 原文地址:https://www.cnblogs.com/maxigang/p/9777025.html
Copyright © 2011-2022 走看看