zoukankan      html  css  js  c++  java
  • Hadoop中MR程序的几种提交运行模式

    本地模型运行

    1:在windows的eclipse里面直接运行main方法,就会将job提交给本地执行器localjobrunner执行
          ----输入输出数据可以放在本地路径下(c:/wc/srcdata/)
          ----输入输出数据也可以放在hdfs中(hdfs://centosReall-131:9000/wc/srcdata)
     
    2:在linux的eclipse里面直接运行main方法,但是不要添加yarn相关的配置文件,也会提交给localjobrunner执行
          ----输入输出数据可以放在本地路径下(/home/hadoop/wc/srcdata/)
          ----输入输出数据也可以放在hdfs中(hdfs:/centosReall-131:9000/wc/srcdata)  
          
          
          
    集群模式运行
     
    1:将工程打成jar包,上传到服务器,然后用hadoop命令提交  hadoop jar wc.jar cn.intsmaze.hadoop.mr.wordcount.WCRunner
    程序编写好以后要打包成jar包放到hadoop集群上进行运行。这里打包的jar包名为wc.jar。
     
    先把文件上传到linux目录,然后在该目录下使用指令将该jar分发到hadoop集群中并指定运行哪一个程序。
    hadoop jar wc.jar cn.intsmaze.hadoop.mr.WCRunner(指定运行java类的完整路径)这个时候程序就执行了。
     
     
    2:在linux的eclipse中直接运行main方法,也可以提交到集群中去运行,但是,必须采取以下措施:
          ----在工程src目录下加入 mapred-site.xml  和  yarn-site.xml (这两个文件在搭建hdfs时修改了的见hdfs文件夹下的搭建日志)
          ----将工程打成jar包(wc.jar),同时在main方法中添加一个conf的配置参数 
    Configuration conf = new Configuration();
    conf.set("mapreduce.job.jar","wc.jar");
    JAR包的位置要在运行程序的工程里面。
     
    3:在windows的eclipse中直接运行main方法,也可以提交给集群中运行,但是因为平台不兼容,需要做很多的设置修改(很麻烦忽略)
    ----要在windows中存放一份hadoop的安装包(解压好的)
    ----要将其中的lib和bin目录替换成根据你的windows版本重新编译出的文件
    ----再要配置系统环境变量 HADOOP_HOME  和 PATH
    ----修改YarnRunner这个类的源码
     
     
  • 相关阅读:
    列表的创建02
    python如何设置注释模板,文件模板
    python语言使用rsa密码算法对数据加密时不能对中文加密问题的解决
    python编码解码,字符数据转换问题(自学笔记)
    字符串与数组之间的互相转换
    vc++文本编辑
    OCP 062【中文】考试题库(cuug内部资料)第28题
    OCP 062【中文】考试题库(cuug内部资料)第27题
    OCP 062【中文】考试题库(cuug内部资料)第26题
    OCP 062【中文】考试题库(cuug内部资料)第25题
  • 原文地址:https://www.cnblogs.com/intsmaze/p/5614417.html
Copyright © 2011-2022 走看看