zoukankan      html  css  js  c++  java
  • Ubuntu下eclipse开发hadoop应用程序环境配置

    2015-3-26

    参考:

    http://blog.csdn.net/xiaotom5/article/details/8080595

    http://www.cnblogs.com/linjiqin/p/3147902.html

    ------------------------------------------------

    环境:

    ubuntu 14.10

    vmware10.0

    Hadoop 2.6.0

    Jdk1.7

    ------------------------------------------------

    1、下载eclipse

    http://www.eclipse.org/downloads/?osType=linux

    eclipse-java-luna-SR2-linux-gtk-x86_64.tar.gz 

    2、下载最新版本的hadoop插件

    hadoop-eclipse-plugin-2.6.0.jar

    将将hadoop-eclipse-plugin-2.6.0.jar复制到eclipse/plugins目录下,重启eclipse。

    (1)、在左边的 project explorer 上头会有一个 DFS locations的标志
    (2)、在 windows -> preferences里面会多一个hadoop map/reduce的选项,选中这个选项,然后右边,把下载的hadoop根目录选中

    如果能看到以上两点说明安装成功了。

    3、在Eclipse中指定Hadoop的安装目录
    选择“Window”菜单下的“Preference”,然后弹出一个窗体,在窗体的左侧中找到“Hadoop Map/Reduce”选项,点击此选项,选择Hadoop的安装目录。结果如下图:

    4、切换“Map/Reduce”工作目录
    有两种方法:
    1)、选择“Window”菜单下选择“Open Perspective–>Other”,弹出一个窗体,从中选择“Map/Reduce”选项即可进行切换。

    2)、在Eclipse软件的右上角,从中选择“Map/Reduce”,然后点击“OK”即可确定。

    切换到“Map/Reduce”工作目录下的界面如下图所示。

    配置DFS Locations
    建立与Hadoop集群的连接,在Eclipse软件下面的“Map/Reduce Locations”进行右击,弹出一个选项,选择“New Hadoop Location ”,然后弹出一个窗体。

    注意上图中的红色标注的地方,是需要我们关注的地方。
    Location Name:可以任意填,标识一个“Map/Reduce Location”

    Map/Reduce Master 这个框里
    Host:就是jobtracker 所在的集群机器,这里写localhost
    Hort:就是jobtracker 的port,这里写的是9101
    这两个参数就是mapred-site.xml里面mapred.job.tracker里面的ip和port  
    DFS Master 这个框里
    Host:就是namenode所在的集群机器,这里写localhost
    Port:就是namenode的port,这里写9100
    这两个参数就是core-site.xml里面fs.default.name里面的ip和port
    (Use M/R master host,这个复选框如果选上,就默认和Map/Reduce Master这个框里的host一样,如果不选择,就可以自己定义输入,这里jobtracker 和namenode在一个机器上,所以是一样的,就勾选上)

    接着点击“Advanced parameters”从中找到“hadoop.tmp.dir”,修改成为我们Hadoop集群中设置的地址,我们的Hadoop集群是“/home/hadoop/hadoop-datastore/”,这个参数在“core-site.xml”进行了配置。

    再从中找到“fs.default.name”,修改成为我们Hadoop集群中设置的地址,我们的Hadoop集群是“hdfs://localhost:54310”,这个参数在“core-site.xml”进行了配置。

    点击“finish”之后,会发现Eclipse软件下面的“Map/Reduce Locations”出现一条信息, 就是我们刚才建立的“Map/Reduce Location ”。

    第五步:查看HDFS文件系统
    查看HDFS文件系统,点击Eclipse软件左侧的“DFS Locations”下面的“localhost”,就会展示出HDFS上的文件结构(记得要先启动hadoop,不然看不到效果)。

    到此为止,我们的Hadoop Eclipse开发环境已经配置完毕。

  • 相关阅读:
    Meten Special Activities II
    Meten Special Activities II
    Meten Special Activities II
    Meten Special Activities II
    Meten Special Activities
    Meten Special Activities
    Meten Special Activities
    Meten Special Activities
    Meten Special Activities
    冒泡排序和选择排序
  • 原文地址:https://www.cnblogs.com/marost/p/4370291.html
Copyright © 2011-2022 走看看