zoukankan      html  css  js  c++  java
  • Hadoop_配置Hadoop开发环境(Eclipse)

    通常我们可以用Eclipse作为Hadoop程序的开发平台。

    1)  下载Eclipse

    下载地址:http://www.eclipse.org/downloads/

    根据操作系统类型,选择合适的版本下载并安装。

    2)  下载并编译Hadoop的Eclipse插件

    网上可直接下载到Hadoop 1.x 的Eclipse插件,但是该插件和Hadoop2.2 不兼容,所以无法使用。

    Hadoop 2.2 的Eclipse插件正处于开发过程中,你可以直接下载源代码并编译。本人在编译过程中碰到了一些ant的配置错误导致无法正常编译,修改ant配置即编译成功,为方便大家,我直接提供编译后的.jar文件供大家下载:

    代码下载地址:https://github.com/winghc/hadoop2x-eclipse-plugin

    编译后的插件下载地址:http://download.csdn.net/detail/zythy/6735167

    3)  配置Hadoop插件

    将下载的hadoop-eclipse-plugin-2.2.0.jar文件放到Eclipse的dropins目录下,重启Eclipse即可看到该插件已生效。

    通过Open Perspective菜单打开Map Reduce视图,如下:

     

    选中大象图标,右键点击Edit Hadoop Location编辑Hadoop配置信息:

    本地新建New Hadoop location
    
    系统项目中使用如下两个配置:
    [bigdatagfts@gft ~]$ cat ./hadoop/core-site.xml
    <configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://10.116.37.181:9000</value>
    </property>
    <property>
      <name>hadoop.tmp.dir</name>
      <value>/home/bigdatagfts/hadoop/local/var/hadoop/tmp/hadoop-${user.name}</value>
    </property>
    </configuration>
    
    
    [bigdatagfts@gft ~]$ cat /home/bigdatagfts/hadoop/etc/hadoop/yarn-site.xml
    <property>
       <name>yarn.resourcemanager.address</name>
       <value>vm-45e5-3412:8032</value>
     </property>

    填写正确的Map/Reduce和HDFS信息。

    4)  新建简单Mapreduce项目

    通过向导新建一个Map/Reduce项目。在此过程中,请配置Hadoop的安装路径。

     

    5)  通过Eclipse访问DFS

    打开Resource视图,即可看到DFS:

     

    此时,你可对DFS进行一些操作,比如上传本地文件到HDFS等等,如下图:



  • 相关阅读:
    利用Spark-mllab进行聚类,分类,回归分析的代码实现(python)
    c#项目返回文件案例
    设计模式 —— 组合模式
    设计模式 —— 备忘录
    设计模式 ——状态模式
    设计模式 —— 中介者模式
    设计模式 —— 适配器
    设计模式 —— 代理模式
    设计模式 ——门面模式
    设计模式 —— 享元模式
  • 原文地址:https://www.cnblogs.com/liupuLearning/p/6555698.html
Copyright © 2011-2022 走看看