zoukankan      html  css  js  c++  java
  • eclipse连接远程hadoop集群开发时0700问题解决方案

    eclipse连接远程hadoop集群开发时报错

    错误信息:

    Exception in thread "main" java.io.IOException:Failed to set permissions of path: mphadoop-yscmapredstagingysc-2036315919.staging to 0700

    解决方案(经笔者在hadoop1.2.0+jdk1.7下验证通过):

    0.安装jdk,ant,并且配置好环境变量

    安装配置jdk不再多说,ant参考我的文章:
    http://blog.csdn.net/shan9liang/article/details/8948646


    1.首先到官网上把该版本hadoop的tar包下载下来,并解压到$HADOOP_HOME目录下

    2.修改hadoop-1.2.0srccoreorgapachehadoopfs下的FileUtil类
    private static void checkReturnValue(boolean rv, File p, 
                                           FsPermission permission
                                           ) throws IOException {
        if (!rv) {
          throw new IOException("Failed to set permissions of path: " + p + 
                                " to " + 
                                String.format("%04o", permission.toShort()));
        }
      }

    将这个抛异常操作注释掉或者 throw new IOException 改为 LOG.warn

    3.进入到$HADOOP_HOME/src目录中,修改saveVersion.sh文件,因为原saveVersion.sh生成的package-info.java有问题。更正内容为:

    user=`whoami` #此处修改成固定值,如user=jialin

    3、修改$HADOOP_HOMEuild.xml,搜索autoreconf,移除匹配的6个executable="autoreconf"的exec配置 ,如: <exec executable="autoreconf" 
              dir="${c++.task-controller.src}"
              searchpath="yes" failonerror="yes">
          <arg value="-i"/>
        </exec>
        
       共有6处,将该语言块删除

    4、 修改hadoop安装目录下的uild.xml   指定java版本<property name="javac.version" value="1.6"/>   如是1.7就改为1.7

    5、在命令行切换到$HADOOP_HOME,执行ant

    6、用新生成的$HADOOP_HOMEuildhadoop-core-1.*.*-SNAPSHOT.jar替换nutch的hadoop-core-*.*.*.jar



  • 相关阅读:
    Jmeter连接数据库并使用数据表数据作为接口所需参数
    使用CSV Data Set Config配置原件,参数化数据
    Jmeter连接SqlServer数据库并操作
    jmeter导入jmx文件报错:missing class com.thoughtworks.xstream.converters.ConversionException
    jmeter请求参数的两种方式
    badboy录制,出现弹框提示脚本错误解决方法
    (三)LoadRunner术语认识
    (二)LoadRunner目录分析
    7z命令
    python复制多层目录下的文件至其他盘符对应的目录中
  • 原文地址:https://www.cnblogs.com/jiangu66/p/3237060.html
Copyright © 2011-2022 走看看