zoukankan      html  css  js  c++  java
  • windows编译hadoop 2.x Hadoop-eclipse-plugin插件

    本文转载至:http://blog.csdn.net/congcong68/article/details/42098391

    一.简介

      Hadoop2.x之后没有Eclipse插件工具,我们就不能在Eclipse上调试代码,我们要把写好的Java代码的MapReduce打包成jar然后在Linux上运行,所以这种不方便我们调试代码,所以我们自己编译一个Eclipse插件,方便我们在我们本地上调试,经过hadoop1.x的发展,编译hadoop2.x版本的eclipse插件比之前简单多了。接下来我 们开始编译Hadoop-eclipse-plugin插件,并在Eclipse开发Hadoop。

    二.软件安装并配置

     1.JDK配置

        1) 安装jdk

        2) 配置环境变量

          JAVA_HOME、CLASSPATH、PATH等设置,这里就不多介绍,网上很多资料

     2.Eclipse

       1).下载eclipse-jee-juno-SR2.rar

       2).解压到本地磁盘,如图所示:

         

    3.Ant

      1)下载

       http://ant.apache.org/bindownload.cgi

       apache-ant-1.9.4-bin.zip

     2)解压到一个盘,如图所示:

       

     3).环境变量的配置

        新建ANT_HOME=E:antapache-ant-1.9.4-binapache-ant-1.9.4

        在PATH后面加;%ANT_HOME%in

     4)cmd 测试一下是否配置正确

        ant version   如图所示:

     

    4.Hadoop

     1).下载hadoop包

        hadoop-2.6.0.tar.gz

       解压到本地磁盘,如图所示:

     

    下载hadoop2x-eclipse-plugin源代码

     1)目前hadoop2的eclipse-plugins源代码由github脱管,下载地址是https://github.com/winghc/hadoop2x-eclipse-plugin,然后在右侧的Download ZIP连接点击下载,如图所示:

        

    2)下载hadoop2x-eclipse-plugin-master.zip

       解压到本地磁盘,如图所示:

        

    三.编译hadoop-eclipse-plugin插件

       

     1.hadoop2x-eclipse-plugin-master解压在E:盘打开命令行cmd,切换到E:hadoophadoop2x-eclipse-plugin-mastersrccontribeclipse-plugin 目录,如图所示:

         

    2.执行ant jar

    ant jar -Dversion=2.6.0 -Declipse.home=D:eclipse -Dhadoop.home=D:hadoop-2.6.0,如图所示:

     3.编译成功生成的hadoop-eclipse-plugin-2.6.0.jar在E:hadoophadoop2x-eclipse-plugin-masteruildcontribeclipse-plugin路径下,如图所示:

       

    关于编译途中出错的解决方案

    命令行在ivy-resolve-common处卡了

    原因是找不到几个依赖包,那几个依赖包可能是换路径了,其实不需要这几个依赖包也可以

    解决方案:

    修改"H2EP_HOME"srccontribeclipse-pluginuild.xml

    找到:

    <target name="compile" depends="init, ivy-retrieve-common" unless="skip.contrib">

    去掉depends修改为

    <target name="compile" unless="skip.contrib">

    8.再次执行第6步的编译命令,会提示copy不到相关jar包的错误,

    解决方案:

    修改"H2EP_HOME"ivylibraries.properties文件,

    将报错的jar包版本号跟换成与"HADOOP_HOME"sharehadoopcommonlib下面jar对应的版本号

    此步可能会有多个jar包版本不匹配,需要多次修改

    关于eclipse如何搭建hadoop开发环境请看我的另一篇博客

      http://www.cnblogs.com/duking1991/p/6056923.html

  • 相关阅读:
    TEXT 6 Travelling with baggage
    TEXT 4 A question of standards
    TEXT 3 Food firms and fat-fighters
    linux——DNS服务器配置
    NISP视频知识点总结
    词根生词要打印加上汉译
    琐碎的总结 css jQuery js 等等。。。
    css 描述css reset的作用和用途。
    css--block formatting context
    《javascript高级程序设计》 第25章 新兴的API
  • 原文地址:https://www.cnblogs.com/duking1991/p/6059648.html
Copyright © 2011-2022 走看看