zoukankan      html  css  js  c++  java
  • eclipse连接远程hadoop集群开发时0700问题解决方案

    eclipse连接远程hadoop集群开发时报错

    错误信息:

    Exception in thread "main" java.io.IOException:Failed to set permissions of path: mphadoop-yscmapredstagingysc-2036315919.staging to 0700

    解决方案(经笔者在hadoop1.2.0+jdk1.7下验证通过):

    0.安装jdk,ant,并且配置好环境变量

    安装配置jdk不再多说,ant参考我的文章:
    http://blog.csdn.net/shan9liang/article/details/8948646


    1.首先到官网上把该版本hadoop的tar包下载下来,并解压到$HADOOP_HOME目录下

    2.修改hadoop-1.2.0srccoreorgapachehadoopfs下的FileUtil类
    private static void checkReturnValue(boolean rv, File p, 
                                           FsPermission permission
                                           ) throws IOException {
        if (!rv) {
          throw new IOException("Failed to set permissions of path: " + p + 
                                " to " + 
                                String.format("%04o", permission.toShort()));
        }
      }

    将这个抛异常操作注释掉或者 throw new IOException 改为 LOG.warn

    3.进入到$HADOOP_HOME/src目录中,修改saveVersion.sh文件,因为原saveVersion.sh生成的package-info.java有问题。更正内容为:

    user=`whoami` #此处修改成固定值,如user=jialin

    3、修改$HADOOP_HOMEuild.xml,搜索autoreconf,移除匹配的6个executable="autoreconf"的exec配置 ,如: <exec executable="autoreconf" 
              dir="${c++.task-controller.src}"
              searchpath="yes" failonerror="yes">
          <arg value="-i"/>
        </exec>
        
       共有6处,将该语言块删除

    4、 修改hadoop安装目录下的uild.xml   指定java版本<property name="javac.version" value="1.6"/>   如是1.7就改为1.7

    5、在命令行切换到$HADOOP_HOME,执行ant

    6、用新生成的$HADOOP_HOMEuildhadoop-core-1.*.*-SNAPSHOT.jar替换nutch的hadoop-core-*.*.*.jar



  • 相关阅读:
    【必备】史上最全的浏览器 CSS & JS Hack 手册(转)
    iScroll4.2.5中的无法滑动或点击的解决方案(转)
    无障碍网页设计(WCAG2.0)
    大小端
    TCP报文结构
    A*
    shell中uniq与sort -u 两种去重的对别
    login流程
    类模板成员函数
    game 角色相关记录
  • 原文地址:https://www.cnblogs.com/riskyer/p/3235517.html
Copyright © 2011-2022 走看看