zoukankan      html  css  js  c++  java
  • 在Eclipse中开发MapReduce程序

      一、Eclipse的安装与设置

      1.在Eclipse官网上下载eclipse-jee-oxygen-3a-linux-gtk-x86_64.tar.gz文件并将其拷贝到/home/jun/Resources下,然后再将文件拷贝到/home/jun下并解压。

    [jun@master ~]$ cp /home/jun/Resources/eclipse-jee-oxygen-3a-linux-gtk-x86_64.tar.gz /home/jun/
    [jun@master ~]$ tar -zxvf /home/jun/eclipse-jee-oxygen-3a-linux-gtk-x86_64.tar.gz 

      2.执行.eclipse程序即可启动eclipse

    [jun@master ~]$ cd eclipse/
    [jun@master eclipse]$ ls
    artifacts.xml  configuration  dropins  eclipse  eclipse.ini  features  icon.xpm  p2  plugins  readme
    [jun@master eclipse]$ ./eclipse 

      3.安装hadoop插件

      (1)下载:https://github.com/winghc/hadoop2x-eclipse-plugin/blob/master/release/hadoop-eclipse-plugin-2.6.0.jar

      (2)将hadoop-eclipse-plugin-2.6.0.jar放到/home/jun/eclipse/plugins下

      (3)启动eclipse,选择Window→Preferences→Hadoop Map/Reduce→Hadoop installation directory→选择/home/jun/hadoop

      (4)选择Window→Show View→Other→MapReduce Tools→Map/Reduce Locations→OK

      (5)在下方Map/Reduce Locations子窗口内空白部分右键-New Hadoop Location

      (6)按下图进行配置,点击Finish

      

       (7)在左边看到下面图即可

      

      

      二、在Eclipse上开发MapReduce程序

      1.新建input.txt并上传到HDFS的/test文件夹中,在eclipse中右键点击Refresh即可看到刚刚上传的文件。在eclipse中可以进行文件目录创建、文件上传、文件下载、文件或文件夹删除等操作,但是不能编辑文件内容。

      

      2.新建项目

      选择File→New→Other→Map/Reduce Project→Next→Project name{WordCount}→Next→Finish

      然后新建包和类

       

      3.获得源码

      桌面上进入

      选择hadoop-mapreduce-examples-2.8.4-sources.jar并右键Open With Archive Manager,找到WordCount.java用gedit打开即可得到源码

      然后将源码复制到eclipse新建的类中

      4.运行程序  

      在java文件上右键点击Run As→Run Configurations→Java Application→Arguments

      第一个参数是输入文件,第二个参数是输出目录(必须之前不存在),然后点击Apply

      

      在Java文件上右键Run As→Run on Hadoop

      然后在Hadoop的test目录下新增了output子目录,且下面有两个文件,其中part-r-000000包含了计算结果

      

      到这里,就完成了第一个在Eclipse上开发并运行MapReduce程序。

  • 相关阅读:
    一、K3 WISE 插件开发《常用数据表整理》
    数据类型
    python的一些操作命令
    python基本数据类型
    20181207朱涛《网络对抗技术》Exp8 Web综合
    20181207朱涛《网络对抗技术》Exp7 网络欺诈防范
    20181207朱涛《网络对抗技术》Exp6 MSF应用基础
    20181207朱涛《网络对抗技术》Exp5 信息搜集与漏洞扫描
    20181207朱涛《网络对抗技术》Exp4 恶意代码分析
    20181207朱涛《网络对抗技术》Exp3 免杀原理
  • 原文地址:https://www.cnblogs.com/BigJunOba/p/9350102.html
Copyright © 2011-2022 走看看