zoukankan      html  css  js  c++  java
  • 在ubuntu下使用Eclipse搭建Hadoop开发环境

    一、安装准备
    1、JDK版本:jdk1.7.0(jdk-7-linux-i586.tar.gz)
    2、hadoop版本:hadoop-1.1.1(hadoop-1.1.1.tar.gz)
    3、eclipse版本:Eclipse Java EE IDE for Web Developers.
      Version: Juno Service Release 1
      Build id: 20120920-0800(eclipse-jee-juno-SR1-linux-gtk.tar.gz)
    4、eclipse与hadoop集成插件:hadoop-eclipse-plugin-1.1.1.jar
    5、操作系统:ubuntu10.10

    注:jdk、hadoop、eclipse、hadoop-eclipse-plugin存在兼容问题,建议大家按上面的版本进行实践(本人在搭建该环境时吃了不少亏~~)。

    二、安装操作
    1、安装JDK,此步省略…(不懂的点击这里 )。
    2、安装hadoop,此步省略…(不懂的点击这里 )。
    3、安装eclipse,操作步骤如下:
    1)、把安装文件拷贝到home目录下
    cp eclipse-jee-juno-SR1-linux-gtk.tar.gz /home
    2)、安装eclipse(即解压就可使用)
    tar -zxvf eclipse-jee-juno-SR1-linux-gtk.tar.gz
    4)、启动eclipse,并创建workspace作为eclipse的工作空间
    cd  /home/eclipse  #切换到eclipse目录下
    ./eclipse

    三、配置Eclipse、Hadoop开发环境
    第一步:安装Eclipse-Hadoophadoop集成插件
    把hadoop-eclipse-plugin-1.1.1.jar插件放到/home/eclipse/plugins中,然后重新启动Eclipse如下图。

    细心的你从上图左侧“Project Explorer”下面发现“DFS Locations”,说明Eclipse已经识别刚才放入的Hadoop Eclipse插件了。

    第二步:在Eclipse中指定Hadoop的安装目录
    选择“Window”菜单下的“Preference”,然后弹出一个窗体,在窗体的左侧中找到“Hadoop Map/Reduce”选项,点击此选项,选择Hadoop的安装目录(如我的Hadoop目录:/home/hadoop/hadoop-1.1.1)。结果如下图:

    第三步:切换“Map/Reduce”工作目录
    有两种方法:
    1)、选择“Window”菜单下选择“Open Perspective–>Other”,弹出一个窗体,从中选择“Map/Reduce”选项即可进行切换。

    2)、在Eclipse软件的右上角,点击图标“41 在ubuntu下使用Eclipse搭建Hadoop开发环境”中的“5 在ubuntu下使用Eclipse搭建Hadoop开发环境”,从中选择“Map/Reduce”,然后点击“OK”即可确定。

    切换到“Map/Reduce”工作目录下的界面如下图所示。

    第四步:配置DFS Locations
    建立与Hadoop集群的连接,在Eclipse软件下面的“Map/Reduce Locations”进行右击,弹出一个选项,选择“New Hadoop Location ”,然后弹出一个窗体。

    注意上图中的红色标注的地方,是需要我们关注的地方。
    Location Name:可以任意填,标识一个“Map/Reduce Location”
    Map/Reduce Master
    Host:xx.xx.xx.xx(Master.Hadoop的IP地址,即/home/hadoop/hadoop-1.1.1/conf/mapred-site.xml中ip)
    Port:xx(即/home/hadoop/hadoop-1.1.1/conf/mapred-site.xml中端口)
    DFS Master
    Use M/R Master host:前面的勾上。(因为我们的NameNode和JobTracker都在一个机器上。)
    Host:xx.xx.xx.xx(/home/hadoop/hadoop-1.1.1/conf/core-site.xml中ip)
    Port:xxxx (/home/hadoop/hadoop-1.1.1/conf/core-site.xml中端口)
    User name:hadoop(操作hadoop的用户)

    接着点击“Advanced parameters”从中找到“hadoop.tmp.dir”,修改成为我们Hadoop集群中设置的地址,我们的Hadoop集群是“/home/hadoop/hadoop-datastore/”,这个参数在“core-site.xml”进行了配置。

    再从中找到“fs.default.name”,修改成为我们Hadoop集群中设置的地址,我们的Hadoop集群是“hdfs://localhost:54310”,这个参数在“core-site.xml”进行了配置。

    点击“finish”之后,会发现Eclipse软件下面的“Map/Reduce Locations”出现一条信息, 就是我们刚才建立的“Map/Reduce Location ”。

    第五步:查看HDFS文件系统
    查看HDFS文件系统,点击Eclipse软件左侧的“DFS Locations”下面的“localhost”,就会展示出HDFS上的文件结构(记得要先启动hadoop,不然看不到效果)。

    到此为止,我们的Hadoop Eclipse开发环境已经配置完毕。

  • 相关阅读:
    伪元素:placeholder-shown&&:focus-within
    伪元素:target
    伪元素:focus-within
    MpVue解析
    ESLint在vue中的使用
    vue动态 设置类名
    Java 文件流操作.
    SpringMVC 与 REST.
    基于Nginx和Zookeeper实现Dubbo的分布式服务
    基于Spring的RPC通讯模型.
  • 原文地址:https://www.cnblogs.com/linjiqin/p/3147902.html
Copyright © 2011-2022 走看看