zoukankan      html  css  js  c++  java
  • MR程序的几种提交运行模式

    本地模式运行

    1-在windows的eclipse里面直接运行main方法

    将会将job提交给本地执行器localjobrunner

    • 输入输出数据可以放在本地路径下
    • 输入输出数据放在HDFS中:(hdfs://xxx:9000/wc/srcdata),如果将hdfs的配置文件放在类路径下面,那么不用写hdfs://

    2-在linux的eclipse里面直接运行main方法,但是不要提那家yarn相关的配置,也会提交给localjobrunner执行

    输入输出数据可以放在本地路径下(/home/hadoop/wc/srcdata)

    输入输出数据也可以放在hdfs中(hdfs://XXXXX:9000/wc/srcdata)

    集群模式运行

    1-将工程达成jar包上传到服务器,然后用hadoop命令提交,hadoop jar wc.jar  xx.xx.xx.xx.XXRunner

    2-在linux的eclipse中直接运行main方法,也可以提交到集群中去运行,但是,必须采取下面的措施:

    ---在工程的src目录中加入mapred-site.xml

    ---将工程达成jar包(wc.jar),同同时在main方法中添加一个conf的配置参数,conf.set("mapreduce.job.jar",“XX.jar”)

    3-在windows的eclipse中直接yunxingmain方法,也乐意提交给集群中运行,但是因为平台不兼容,需要做很多额外的设置

    ---要在windows中存放一份hadoop的安札UN该包(解压好的)

    ---要将其中的lib和bin目录替换成根据Windows版本重新编译出的文件,因为这两个目录中的文件都是和本地相关的;

    ---配置系统环境变量HADOOP_HOME和PATH

    ---修改YarnRunner这个类的源码=

  • 相关阅读:
    matlab练习程序(灰度图直方图均衡化)
    二叉查找树
    hadoop入门介绍
    配置虚拟机Ubuntu网络连接
    hadoop ubuntu (单节点)部署
    Thrift
    linux打包压缩命令汇总
    [转载]ubuntu 启动流程
    linux命令大全
    Linux文件查找命令find,xargs详述
  • 原文地址:https://www.cnblogs.com/maxigang/p/9777025.html
Copyright © 2011-2022 走看看