1 生成插件jar
1.1 安装java,ant运行环境
1.2 下载hadoop-2.5.0.tar.gz并解压到指定目录
1.3 下载hadoop2x-eclipse-plugin-master.zip并进行解压到指定目录
1.4 进入到hadoop2x-eclipse-plugin-masteruildcontribeclipse-plugin目录下进行编译
ant jar -Dversion=2.5.0 -Dhadoop.version=2.5.0 -Declipse.home=D:developtoolseclipseeclipse-jee-mars-1-win32-x86_64eclipseeclipse -Dhadoop.home=D:developtoolslinuxsoftwarehadoophadoop-2.5.0hadoop-2.5.0
1.5 如果编译失败,提示找不到htrace-core-3.0.4.jar,就去mvn中央仓库进行下载,并放入到hadoop-2.5.0sharehadoopcommonlib目录下,重新执行1.4的操作
1.6 如果编译成功,会在hadoop2x-eclipse-plugin-masteruildcontribeclipse-plugin目录下生成hadoop-eclipse-plugin-2.5.0.jar
2 将生成的hadoop-eclipse-plugin-2.5.0.jar拷贝到eclipse的dropins目录下,可能有的eclipse版本需要放到plugins目录下,重启eclipse,查看window->preferences下是不是又mapreduce的选项
3 点击步骤2中的Hadoop Map/Reduce选择在右侧的选项卡中填入hadoop.home对应的路径
4 使用eclipse管理hdfs
4.1 关闭eclipse的权限管理(在hdfs-site.xml中配置)
<property> <name>dfs.permissions.enabled</name> <value>false</value> </property>
4.2 修改当前电脑的用户为hadoop,并重启电脑用该用户登录
5 使用eclipse提交任务到hadoop(https://pan.baidu.com/s/1jIcjNSi)
5.1 下载window下的运行包winutils
5.2 将winutils下的hadoop-2.6.4/bin目录下的文件覆盖到hadoop的bin目录下的所有文件
5.3 复制hadoopinhadoop.dll文件到C:WindowsSystem32中
5.4 配置HADOOP_HOME,并将HADOOP_HOMEin配置到Path变量中
5.5 重启电脑