zoukankan      html  css  js  c++  java
  • Hadoop Eclipse 插件制作以及安装

    在本地使用Eclipse调试MapReduce程序,需要Hadoop插件,笔摘记录下制作安装过程。

    准备工作(hadoop-2.6.0为例):

      搭建好Hadoop环境

      下载Hadoop安装包,解压到某个路径(D:hadoop-2.6.0)

      下载 hadoop2x-eclipse-plugin包

      安装jdk 、ant、eclipse

    相关资源下载:https://pan.baidu.com/s/11xMtbRWpy96gWIwQeQOKOg

    一、制作

      1、git下载源码 https://github.com/winghc/hadoop2x-eclipse-plugin

      2、编译准备

       需要安装 jdk,Ant、Eclipse

       jdk安装配置 : https://jingyan.baidu.com/article/6dad5075d1dc40a123e36ea3.html

         ant安装配置:https://jingyan.baidu.com/article/90808022c5eed8fd91c80f90.html

      3、编译

        (1)进入hadoop2x-eclipse-plugin解压目录下(D:hadoop2x-eclipse-plugin-mastersrccontribeclipse-plugin)

        (2)执行命令 :ant jar -Dversion=2.6.0 -Declipse.home=D: empeclipse -Dhadoop.home=D:hadoop-2.6.0

        

        参数说明:

        1.Dversion是你编译的版本,此版本为2.6.0
        2.Declipse.home是Eclipse安装目录
        3.Dhadoop.home是Hadoop解压的本地目录

       (3)执行完毕

             

        生成插件(build/contrib/eclipse-plugin目录下产生一个hadoop-eclipse-plugin-2.6.0.jar文件),插件制作结束。

        

    二、插件安装

      1.安装插件

      把插件放入eclipse plugins文件夹,然后打开win7下Eclipse,将hadoop-eclipse-plugin-2.6.0.jar插件放到Eclipse安装目录的plugins文件夹下,我这里的路径是D:hbl_downloadeclipseplugins
      其实放到这里面已经完成大部分了。

      

      2.重启Eclipse
      通过window-》preference 找到下图所示,选择Hadoop安装目录

      

      3.创建New hadoop location
       通过下面操作,单击other

       

        选择MapReduce Tool选项

        

        

       4.配置New hadoop location

       右键New hadoop location

        

        

        其中50020是Map/Reduce(V2) Master默认端口,9000为配置文件中DFS Master配置的端口

      5.查看效果
        
    配置完毕,查看效果

        

    三、MapReduce程序调试

      本地调试MapReduce程序,需要在解压的Hadoop的bin目录下安装winutils.exe,以及将 hadoop.dll拷贝至C:WindowsSystem32目录中

        

        

  • 相关阅读:
    获取平台所有接口的IP和MAC地址
    共享内存
    消息队列
    shell常见语法
    保存结构体到文件
    Bookmarks
    js打开新窗口
    要买的书
    批量下载辅助工具
    解决word没有菜单栏和工具栏
  • 原文地址:https://www.cnblogs.com/xiaojianfeng/p/9714611.html
Copyright © 2011-2022 走看看