zoukankan      html  css  js  c++  java
  • Eclipse下配置使用Hadoop插件

    一、环境配置

    1、Eclipse 版本 3.3.X

    2、Hadoop版本 0.20.2

    二、配置流程

    1、将/hadoop-0.20.2/hadoop-0.20.2/contrib/eclipse-plugin/下的hadoop-0.20.2-eclipse-plugin.jar拷贝到eclipse-SDK-3.3.2-win32/eclipse/plugins/下。

    2、启动eclipse,点击Window->Show View->Other,点击MapReudce Tools->Map/Reduce Locations,如图(我已创建一个):

    image

    3、点击蓝色的大象,出现下图,配置:

    Host是Master的IP地址、9001是mapred.job.tracker端口、9000是fs.default.name的端口

    image 

    4、到这里配置完成了。值得说明的是,JDK需要采用1.6,否则会报如下错误信息。

    Unsupported major.minor version 50.0 
    Unsupported major.minor version 49.0 
    Unsupported major.minor version 48.0

    二、如何使用

    1、查看文件系统。点击eclipse右上角的蓝色大象图标,然后在左边Project Explorer会出现DFS Locations的链接,打开就能看到HDFS的文档结构。

    2、运行Job,运行的时候采用Run on hadoop。这里需要注意3点,

    A、记得配置输入输出参数。

    B、记得在main函数中添加conf.set("hadoop.job.ugi", "root,hadoop"); root是用户名,hadoop是密码。

    C、工程需要加载hadoop下lib里的所有包以及hadoop目录下的包,当然不是全部都需要,我觉得麻烦,所以全部加上了。

    image 

    image 

    四、总结

    1、插件用起来还是比较方便的,建议开发调试的时候使用。

    2、通过插件对HDFS进行文件目录的增删操作就我这个配置还不行,网上有文档说可以配置,但是我没实现。

    3、运行Job的时候确实需要注意输入和输出以及一些jar包的加载。

    4、执行的时候会出一些警告,不影响,说是系统中存在一些老的配置文件而已。

    5、写的不对或是有疑问的地方可以发邮件沟通。dajuezhao@gmail.com

    转自:http://blog.csdn.net/dajuezhao/article/details/5909410

  • 相关阅读:
    java 标准异常
    java 重新抛出异常
    java 异常链
    java 轨迹栈
    mysql死锁-非主键索引更新引起的死锁
    数据库事务
    JMS学习笔记(一)
    log4j中将SocketAppender将日志内容发送到远程服务器
    Kubernetes之kubectl常用命令
    java代理与动态代理的学习
  • 原文地址:https://www.cnblogs.com/viviancc/p/2380747.html
Copyright © 2011-2022 走看看