zoukankan      html  css  js  c++  java
  • Ubuntu安装eclipse,编写mapreduce,免编译hadoop-eclipse插件

    原地址:http://blog.csdn.net/coolcgp/article/details/43448135,做一些更改和补充

    第一,Ubuntu软件中心安装eclipse

    第二,将hadoop-eclipse-plugin-1.2.1.jar复制到eclipse安装目录下的插件目录/usr/lib/eclipse/plugins下(如果不知道eclipse的安装目录,终端输入whereis eclipse查找. )如果默认安装,直接输入下一条命令:

    sudo cp hadoop-eclipse-plugin-1.2.1.jar /usr/lib/eclipse/plugins

    补充:hadoop-eclipse-plugin-1.2.1.jar使用编译好的,

    下载地址:http://download.csdn.net/detail/poisonchry/7412615

    第三,启动eclipse,打开Map/Reduce视图

    1.选择Window-->Preference

    2.选择Hadoop Map/Reduce

    3.输入hadoop的安装路径

    第四,通过eclipse管理HDFS

    1.Window-->Show View -->Other -->MapReduce Tools 中打开Map/Reduce Locations

    2.在Map/Reduce视图下,右键新建-->New Hadoop Location

    (在Map/Reduce Locations中新建一个Hadoop Location。在这个View中,右键-->New Hadoop Location。在弹出的对话框中你需要配置Location name,如myubuntu,还有Map/Reduce Master和DFS Master。这里面的Host、Port分别为你在mapred-site.xml、core-site.xml中配置的地址及端口。如: )

    3.管理HDFS

    首先打开MapReduce视图

    Window -> Open Perspective -> Other 选择Map/Reduce,图标是个蓝色的象。

    配置完后退出。点击DFS Locations-->myubuntu如果能显示文件夹(2)说明配置正确,如果显示"拒绝连接",请检查你的配置(我的配置完成之后只看到了一个文件夹tmp,不知道是什么原因)。 
     

    第五,新建MapReduce项目

    第六,输入HDFS上的输入文件夹和输出文件夹(中间有空格)

    注意输入输出地址,是服务器格式化hdfs文件系统中的input和output文件夹,

    我的输入和输出地址为hdfs://192.168.83.51:9000/user/hadoop/input hdfs://192.168.83.51:9000/user/hadoop/output2

    注意实现要通过 hadoop fs -mkdir input,hadoop fs -mkdir output2定义该文件夹

    第七,点击右下角“run”

    注:同一个MapReduce程序,要测试几遍,要删除“目标文件夹”,不然运行程序时,会重新建立目标文件夹,产生结果文件夹已生成的错误。删除output之后(以上文的例子为例),再运行即可。

  • 相关阅读:
    PHP变量及其操作
    PHP基本语法
    PHP安装与配置
    MySQL安装与配置
    获取一个目录的父目录
    Image控件播放 GIF文件
    保存网页MHT
    注册全局热键
    使用多线程实现打字效果
    Delphi 调用外部程序并等待其运行结束
  • 原文地址:https://www.cnblogs.com/yansjhere/p/4429372.html
Copyright © 2011-2022 走看看