zoukankan      html  css  js  c++  java
  • hadoop fs -put localfile . 时出现如下错误: could only be replicated to 0 nodes, instead of 1

    hadoop fs -put localfile . 时出现如下错误:
    could only be replicated to 0 nodes, instead of 1
    网友的说法:

    这个问题是由于没有添加节点的原因,也就是说需要先启动namenode,再启动datanode,然后启动jobtracker和tasktracker。这样就不会存在这个问题了。

    这个异常主要是因为hdfs文件系统出现异常,解决方法是:
    先停hadoop;
    到hadoop.tmp.dir这里配置路径清除文件;(hadoop.tmp.dir默认:/tmp/hadoop-${user.name})
    然后hadoop namenode -format;
    最后重启hadoop

    有可能客户端防火墙问题:所以除了服务器外,slave(即datanode)也需要sudo /etc/init.d/iptables stop关闭防火墙

    重新格式化后把Datanode保存数据块目录中的tmp目录删掉试试看

    format之后之前的datanode会有一个ID,这个ID没有删除,所以会拒绝当前Namenode链接和分配。所以需要删除 原来的datanode中的hdfs目录。user和tmp然后再格式化,即可

    不需要删除datanode的ID,只需要将datanode的进程号修改为namenode的进程号.
    在/tmp目录先看看能不能找到他的进程文件,打开修改一下即可

    我也遇到这个问题,让我鼓捣了半天,最后打开eclipse,用dfs视图把里面一个文件删除了,就好了


    我来个暴力点的:
    bin/stop-all.sh
    hadoop fs namenode -format
    bin/start-all.sh
    终于弄好了,不过这有点恨,不能每次都format,以后碰到类似问题再试一下其他方法。

    我的情况是:我在namenode上也起了一个datanode,第二次启动时没启动这个节点上的datanode ,后来启动以后就好了

  • 相关阅读:
    忍者X3 链接统计工具
    新版淘宝客广告生成器发布
    今天编写了淘宝客生成工具
    淘宝客appkey做了大范围的取消、查封
    DiscuzX3.0 发布插件
    网易博客营销插件
    [转]iOS 应用程序的生命周期
    [转]Xcode的快捷键及代码格式化
    OC——关于KVO
    OC——关于KVC
  • 原文地址:https://www.cnblogs.com/lfxiao/p/10432127.html
Copyright © 2011-2022 走看看