zoukankan      html  css  js  c++  java
  • eclipse连接远程hadoop集群开发时0700问题解决方案

    eclipse连接远程hadoop集群开发时报错

    错误信息:

    Exception in thread "main" java.io.IOException:Failed to set permissions of path: mphadoop-yscmapredstagingysc-2036315919.staging to 0700

    解决方案(经笔者在hadoop1.2.0+jdk1.7下验证通过):

    0.安装jdk,ant,并且配置好环境变量

    安装配置jdk不再多说,ant参考我的文章:
    http://blog.csdn.net/shan9liang/article/details/8948646


    1.首先到官网上把该版本hadoop的tar包下载下来,并解压到$HADOOP_HOME目录下

    2.修改hadoop-1.2.0srccoreorgapachehadoopfs下的FileUtil类
    private static void checkReturnValue(boolean rv, File p, 
                                           FsPermission permission
                                           ) throws IOException {
        if (!rv) {
          throw new IOException("Failed to set permissions of path: " + p + 
                                " to " + 
                                String.format("%04o", permission.toShort()));
        }
      }

    将这个抛异常操作注释掉或者 throw new IOException 改为 LOG.warn

    3.进入到$HADOOP_HOME/src目录中,修改saveVersion.sh文件,因为原saveVersion.sh生成的package-info.java有问题。更正内容为:

    user=`whoami` #此处修改成固定值,如user=jialin

    3、修改$HADOOP_HOMEuild.xml,搜索autoreconf,移除匹配的6个executable="autoreconf"的exec配置 ,如: <exec executable="autoreconf" 
              dir="${c++.task-controller.src}"
              searchpath="yes" failonerror="yes">
          <arg value="-i"/>
        </exec>
        
       共有6处,将该语言块删除

    4、 修改hadoop安装目录下的uild.xml   指定java版本<property name="javac.version" value="1.6"/>   如是1.7就改为1.7

    5、在命令行切换到$HADOOP_HOME,执行ant

    6、用新生成的$HADOOP_HOMEuildhadoop-core-1.*.*-SNAPSHOT.jar替换nutch的hadoop-core-*.*.*.jar



  • 相关阅读:
    java object bean 转map
    常用css
    mysql 生成max+1编号
    MySql避免重复插入记录方法(ignore,Replace,ON DUPLICATE KEY UPDATE)
    cookie记住账户密码
    session有效时间
    常用jstl
    高性能MySQL--innodb中事务的隔离级别与锁的关系
    mysql8.0.11的坑早知道
    git进阶--你可能不知道的很好用git功能
  • 原文地址:https://www.cnblogs.com/jiangu66/p/3237060.html
Copyright © 2011-2022 走看看