zoukankan      html  css  js  c++  java
  • Ubuntu下的eclipse配置MapReduce

    下载配置文件:

    链接:https://pan.baidu.com/s/13vatPHpDP5HaW0mKuHydUA
    提取码:pjxi

    1)启动hadoop

    cd /usr/local/hadoop
    ./sbin/start-dfs.sh
    

    2)复制文件hadoop-eclipse-plugin-2.6.0.jar到/usr/lib/eclipse/plugins/

    sudo cp /media/sf_gx/hadoop2x-eclipse-plugin-master/release/hadoop-eclipse-plugin-2.6.0.jar /usr/lib/eclipse/plugins/
    

    3)给msq用户所有权限

    cd /usr/lib/eclipse/plugins
    sudo -chmod 777 hadoop-eclipse-plugin-2.6.0.jar
    

    4)启动eclipse

    sudo /usr/lib/eclipse/eclipse -clean
    

    5)配置

         (1)启动 Eclipse 后就可以在左侧的Project Explorer中看到 DFS Locations(若看到的是 welcome 界面,点击左上角的 x 关闭就可以看到了。CentOS 需要切换 Perspective 后才能看到,即接下来配置步骤的第二步)。

         

           (2)第一步:选择 Window 菜单下的 Preference。

     

         此时会弹出一个窗体,窗体的左侧会多出 Hadoop Map/Reduce 选项,点击此选项,选择 Hadoop 的安装目录(如/usr/local/hadoop,Ubuntu不好选择目录,直接输入就行)。

         第二步:切换 Map/Reduce 开发视图,选择 Window 菜单下选择 Open Perspective -> Other(CentOS 是 Window -> Perspective -> Open Perspective -> Other),弹出一个窗体,从中选择 Map/Reduce 选项即可进行切换。 

          第三步:建立与 Hadoop 集群的连接,点击 Eclipse软件右下角的 Map/Reduce Locations 面板,在面板中单击右键,选择 New Hadoop Location。

         在弹出来的 General 选项面板中,General 的设置要与 Hadoop 的配置一致。一般两个 Host 值是一样的,如果是伪分布式,填写 localhost 即可,另外我使用的Hadoop伪分布式配置,设置 fs.defaultFS 为 hdfs://localhost:9000,则 DFS Master 的 Port 要改为 9000。Map/Reduce(V2) Master 的 Port 用默认的即可,Location Name 随意填写。

           最后的设置如下图所示:

    Advanced parameters 选项面板是对 Hadoop 参数进行配置,实际上就是填写 Hadoop 的配置项(/usr/local/hadoop/etc/hadoop中的配置文件),如我配置了 hadoop.tmp.dir ,就要进行相应的修改。但修改起来会比较繁琐,我们可以通过复制配置文件的方式解决(下面会说到)。

    总之,我们只要配置 General 就行了,点击 finish,Map/Reduce Location 就创建好了。

    在 Eclipse 中操作 HDFS 中的文件

    配置好后,点击左侧 Project Explorer 中的 MapReduce Location (点击三角形展开)就能直接查看 HDFS 中的文件列表了(HDFS 中要有文件,如下图是 WordCount 的输出结果),双击可以查看内容,右键点击可以上传、下载、删除 HDFS 中的文件,无需再通过繁琐的 hdfs dfs -ls 等命令进行操作了。
    以下output/part-r-00000文件记录了输出结果。

    使用Eclipse查看HDFS中的文件内容

    如果无法查看,可右键点击 Location 尝试 Reconnect 或重启 Eclipse。

    Tips

    HDFS 中的内容变动后,Eclipse 不会同步刷新,需要右键点击 Project Explorer中的 MapReduce Location,选择 Refresh,才能看到变动后的文件。

    在 Eclipse 中创建 MapReduce 项目

    点击 File 菜单,选择 New -> Project…:

    创建Project

    选择 Map/Reduce Project,点击 Next

    创建MapReduce项目

    填写 Project name 为 WordCount 即可,点击 Finish 就创建好了项目。

  • 相关阅读:
    STM32-串口通信
    STM32-系统计时器(systick)
    字符串操作常用的函数
    基本MarkDown语法
    结构
    python入门
    贪心算法小结
    POJ1631_高深DP
    POJ3046ANT_COUNTING
    POJ1742coins
  • 原文地址:https://www.cnblogs.com/msq2000/p/11781518.html
Copyright © 2011-2022 走看看