zoukankan      html  css  js  c++  java
  • windows下eclipse远程连接Hadoop集群进行开发

    本人使用的软件版本如下:

    Hadoop的版本为hadoop-1.0.1

    Eclipse的版本为Indigo

    本人的hadoop集群由3台centos 6 64位的机器组成

    其中一台Master,两台为Slave

    安装eclipse开发环境的步骤如下:

    1. 下载hadoop-eclipse-plugin-1.0.0.jar  插件下载地址
    2. 把插件放到eclipse的plugin目录
    3. 打开eclipse可以看到增加了一个map/reduce的视图,打开那个视图
    4. 在下面的Map/Reduce Locations的地方增加一个Location
    5. 注意在编辑连接信息的时候需要注意以下几个事项
      1. 端口必须和hadoop设置的端口一致
      2. tmp地址设置为你的hadoop数据存储地址的根目录,其他的目录就跟着变了,具体可以参考
      3. 注意上面的参考中有些东西跟最新的插件有出入
    6. 运行程序的时候如果出现问题,如下

      Permission denied: user=Administrator, access=WRITE, inode="root":root:supergroup:rwxr-xr-x
      此类错误说明本地用户administrator(本机windows用户)想要远程操作hadoop系统,没有权限引起的。

      解决方法给相应没权限的目录设置下777权限。如给root目录设置权限

      ./hadoop fs -chmod 777 /user/root

      /user/root为你的hadoop配置参数hadoop.tmp.dir配置的地址

  • 相关阅读:
    3.7日复习
    作业
    小米官网需要的数据
    EL&JSTL
    变量和运算符
    jsp
    session的应用----验证码
    restframework-总结
    Django-Rest-Framework部分源码流程分析
    Django-Rest-Framework
  • 原文地址:https://www.cnblogs.com/wordadobe/p/2480932.html
Copyright © 2011-2022 走看看