Eclipse安装Hadoop插件 (Hadoop版本:0.20.205.0, Eclipse Indigo)

解压 hadoop-0.20.205.0.tar.gz , 进入到 contrib/eclipse-plugin/ 文件夹下.

你能看到一个叫 hadoop-eclipse-plugin-0.20.205.0.jar 的jar, 没错,这个就是 hadoop eclipse插件.

但这个插件有问题.需要手动修改一下(主要问题是缺少jar包):

用 WinRar 打开这个jar(不解压),在 进入 包里的 lib 目录,你能发现有 hadoop-core.jar 和 commons-cli-1.2.jar 这2个jar.

1.在hadoop安装目录 hadoop-0.20.205.0/lib 找到 如下 jar 并拷贝到 hadoop-eclipse-plugin-0.20.205.0.jar/lib 下(WinRAR打开):

　　jackson-mapper-asl-1.0.1.jar

　　commons-configuration-1.6.jar

　　commons-httpclient-3.0.1.jar

　　commons-lang-2.4.jar

　　jackson-core-asl-1.0.1.jar

2.修改jar的MANIFEST.MF文件:

　　拷贝出 hadoop-eclipse-plugin-0.20.205.0.jar/META-INF/MANIFEST.MF文件,

　　修改 Bundle-ClassPath: classes/,lib/hadoop-core.jar

　　为: 

Bundle-ClassPath: classes/,lib/hadoop-core.jar,lib/commons-cli-1.2.jar,lib/commons-httpclient-3.0.1.jar,lib/jackson-core-asl-1.0.1.jar,lib/jackson-mapper-asl-1.0.1.jar,lib/commons-configuration-1.6.jar,lib/commons-lang-2.4.jar

修改完成后覆盖jar包里的 hadoop-eclipse-plugin-0.20.205.0.jar/META-INF/MANIFEST.MF 文件.

将 hadoop-eclipse-plugin-0.20.205.0.jar 拷贝到Eclipse插件目录:  plugins/ 目录下.

到此插件安装完成. 打开 Eclipse.  

　　菜单栏: Window -> Preferences -> Hadoop MapReduce , 在右侧设置 Hadoop 的安装路径.只能是本地的.主要目的是引用hadoop依赖的jar包

　　菜单栏:  Window -> Show View -> Other -> MapReduce Tools -> MapReduce Locations. 调出 Hadoop配置.可以是远程的.

　　然后new 一个 locations:

　　

　　Location Name : 自己随便取个名字

　　Map/Reduce Master :  mapred-site.xml 里 mapred.job.tracker 节点的配置

　　DFS Master: core-site.xml 里 fs.default.name 节点的配置.

　　User Name : 就是启动hadoop的用户名.

　　

　　点击 Finish. 

　　成功的话, 你的 项目里会多一个 DFS Locations:

　　

　　

　　如果发现问题.检查下 安装 Eclipse 插件的时候 添加jar包 和 修改 MANIFEST.MF 信息 是否正确.

　　

　　如果遇到如下异常：

org.apache.hadoop.security.AccessControlException: Permission denied: user=xxj, access=WRITE, 

　　解决办法：

　　在 hdfs-site.xml 总添加参数：

　　

<property>
        <name>dfs.permissions</name>
        <value>false</value>
  </property> 

　　

　　相关参考:

　　http://www.cnblogs.com/xia520pi/archive/2012/05/20/2510723.html

　　http://wenku.baidu.com/view/8ebc401ba76e58fafab0034c.html

　　http://www.taobaotest.com/blogs/qa?bid=10659