zoukankan      html  css  js  c++  java
  • 【甘道夫】Win7x64环境下编译Apache Hadoop2.2.0的Eclipse小工具

    目标:
    编译Apache Hadoop2.2.0在win7x64环境下的Eclipse插件

    环境:
    win7x64家庭普通版
    eclipse-jee-kepler-SR1-win32-x86_64.zip
    Apache Ant(TM) version 1.8.4 compiled on May 22 2012
    java version "1.7.0_45"

    參考文章:

    插件源代码下载:

    前提:
    ant、jdk、eclipse、Apache hadoop 2.2.0安装包都准备好
    插件源代码包已经下载好
    在虚拟机上已经部署好Apache hadoop 2.2.0环境

    步骤1:
    Apache Hadoop 2.2.0的安装包拷贝至随意windows文件夹,我使用的文件夹是D:Development_ProgramFiles_2014hadoop-2.2.0
    切记:整个路径不能出现空格。否则ant编译过程会出错。

    步骤2(该步骤应该能够省略)
    将Hadoop集群上存配置文件的目录hadooproot/etc/hadoop/复制到D:Development_ProgramFiles_2014hadoop-2.2.0etc下

    步骤3:
    执行cmd,进入插件源代码根文件夹。执行
    cd src/contrib/eclipse-plugin

    步骤4
    运行ant jar -Dversion=2.2.0 -Declipse.home=D:Development_ProgramFiles_2014eclipse2014 -Dhadoop.home=D:Development_ProgramFiles_2014hadoop-2.2.0
    注意:命令中须要指定需编译插件的目标eclipse安装文件夹、hadoop安装文件夹。
    切记:两个文件夹的全路径中都不能带有空格。

    步骤5
    然后就是漫长等待了,主要慢的target:ivy-download。ivy-resolve-common这两步。
    最后生成的插件在
    hadoop2x-eclipse-plugin-masteruildcontribeclipse-pluginhadoop-eclipse-plugin-2.2.0.jar

    步骤6:
    hadoop-eclipse-plugin-2.2.0.jar复制到eclipse的plugins文件夹下,启动eclipse

    步骤7:
    Window--》Preferences 配置hadoop根文件夹:

    注意:配置该路径不过为了运行MR程序过程中。eclipse能找到对应的jar包。

    步骤8:
    打开mapreduce的view:

    配置location:

    注意:MR Master和DFS Master配置必需和mapred-site.xml和core-site.xml等配置文件一致。

    步骤9:
    打开Project Explorer。查看HDFS文件系统:



    步骤10:
    新建mapreduce项目


    创建mapreduce程序:



    执行MR程序。提示无法连接集群,请參见兴许文章:
    【甘道夫】Win7环境Eclipse连接Hadoop2.2.0
    http://blog.csdn.net/u010967382/article/details/25368313

    版权声明:本文博客原创文章。博客,未经同意,不得转载。

  • 相关阅读:
    方维分享系统,分享的用户得到商品的佣金
    方维采集失败,方维后台采集不了怎么办
    thinkphp 的 URL 中的 & 被转义成了 & 成了死链接
    PHP用curl采集天猫详细页
    xampp1.8.3 配置 php5.x 访问 SQL Server 2008
    ArcGIS 10 线转点 polyline to points
    使用BCP从Sybase远程数据库中导出数据
    百度UEditor添加视频 增加支持“通用代码”功能,支持微信
    firefox修改user-agent
    Twitter Storm学习笔记
  • 原文地址:https://www.cnblogs.com/lcchuguo/p/4644012.html
Copyright © 2011-2022 走看看