zoukankan      html  css  js  c++  java
  • 攻城狮在路上(陆)-- 提交运行MapReduce程序到hadoop集群运行

    此种方式不能直接在eclipse中调试代码。

    首先需要在src下放置服务器上的hadoop配置文件:core-site.xmlyarn-site.xmlhdfs-site.xmlmapred-site.xml

    1、在本地直接调用,执行过程在服务器上(真正企业运行环境)

        a、首先把MR程序打包(jar),直接放到本地,比如C:\Users\Administrator\Desktop\wc.jar

        b、修改hadoop的源码 ,在新建的Java project中拷贝下面路径的Java代码。路径保持和原来一致。注意:确保项目的lib需要真实安装的jdk的lib

    org/apache/hadoop/io/nativeio/NativeIO.java
    org/apache/hadoop/mapred/YARNRunner.java

        c、在java project的buildpath中设置,jdk不要使用eclipse自带的,修改为自己本地安装的Jdk。

        d、增加一个属性:

            config.set("mapred.jar", "C:\Users\Administrator\Desktop\wc.jar");

        e、本地执行main方法,可以使用servlet在界面中调用MR。

    2、直接在服务器上,使用命令的方式调用,执行过程也在服务器上

        a、把MR程序打包(jar),传送到服务器上

        b、在服务器上通过: hadoop jar jar路径  类的全限定名  来执行。

  • 相关阅读:
    PHP+AJAX 验证码验证用户登录
    2014-05-09 总结
    2014-05-08 总结(补充)
    2014-05-08 总结
    2014-05-07 总结
    14-6-2
    php
    5-23
    PHP
    5-22
  • 原文地址:https://www.cnblogs.com/tq03/p/5101952.html
Copyright © 2011-2022 走看看