zoukankan      html  css  js  c++  java
  • Eclipse下配置使用Hadoop插件

    一、环境配置

    1、Eclipse 版本 3.3.X

    2、Hadoop版本 0.20.2

    二、配置流程

    1、将/hadoop-0.20.2/hadoop-0.20.2/contrib/eclipse-plugin/下的hadoop-0.20.2-eclipse-plugin.jar拷贝到eclipse-SDK-3.3.2-win32/eclipse/plugins/下。

    2、启动eclipse,点击Window->Show View->Other,点击MapReudce Tools->Map/Reduce Locations,如图(我已创建一个):

    image

    3、点击蓝色的大象,出现下图,配置:

    Host是Master的IP地址、9001是mapred.job.tracker端口、9000是fs.default.name的端口

    image 

    4、到这里配置完成了。值得说明的是,JDK需要采用1.6,否则会报如下错误信息。

    Unsupported major.minor version 50.0 
    Unsupported major.minor version 49.0 
    Unsupported major.minor version 48.0

    二、如何使用

    1、查看文件系统。点击eclipse右上角的蓝色大象图标,然后在左边Project Explorer会出现DFS Locations的链接,打开就能看到HDFS的文档结构。

    2、运行Job,运行的时候采用Run on hadoop。这里需要注意3点,

    A、记得配置输入输出参数。

    B、记得在main函数中添加conf.set("hadoop.job.ugi", "root,hadoop"); root是用户名,hadoop是密码。

    C、工程需要加载hadoop下lib里的所有包以及hadoop目录下的包,当然不是全部都需要,我觉得麻烦,所以全部加上了。

    image 

    image 

    四、总结

    1、插件用起来还是比较方便的,建议开发调试的时候使用。

    2、通过插件对HDFS进行文件目录的增删操作就我这个配置还不行,网上有文档说可以配置,但是我没实现。

    3、运行Job的时候确实需要注意输入和输出以及一些jar包的加载。

    4、执行的时候会出一些警告,不影响,说是系统中存在一些老的配置文件而已。

    5、写的不对或是有疑问的地方可以发邮件沟通。dajuezhao@gmail.com

    转自:http://blog.csdn.net/dajuezhao/article/details/5909410

  • 相关阅读:
    pat甲级 1155 Heap Paths (30 分)
    pat甲级 1152 Google Recruitment (20 分)
    蓝桥杯 基础练习 特殊回文数
    蓝桥杯 基础练习 十进制转十六进制
    蓝桥杯 基础练习 十六进制转十进制
    蓝桥杯 基础练习 十六进制转八进制
    51nod 1347 旋转字符串
    蓝桥杯 入门训练 圆的面积
    蓝桥杯 入门训练 Fibonacci数列
    链表相关
  • 原文地址:https://www.cnblogs.com/viviancc/p/2380747.html
Copyright © 2011-2022 走看看