zoukankan      html  css  js  c++  java
  • HDFS操作笔记

    1.运行mr程序出错

    connecting to resourcemanager

    retrying ....

    retrying....

    原因是没有启动yarn或者启动失败

    2.初始化工作目录结构

    hdfs namenode -format 只是初始化了namenode的工作目录

    而datanode的工作目录是在datanode启动后自己初始化的

    3.datanode不被namenode识别的问题

    namenode在format初始化的时候会形成两个标识:

    blockpoolId;

    clusterId;

    新的datanode加入时,会获取这两个标识作为自己工作目录中的标识

    一旦namenode重新format后,namenode的身份识别已变,而datanode如果依然持有原来的id,就不会被namenode识别。

    4.datanode下线后多久看到效果

    datanode不是一下线就会被namenode认定为下线的,有一个超时时间

    5.关于副本数量的问题

    副本数由客户端的参数dfs.replication决定(优先级:conf.set>自定义配置文件>jar包中的hdfs-default.xml)

    6.如果namenode的硬盘损坏,元数据是否还能恢复?如果能恢复,如何恢复?

    将secondarynamenode的元数据目录拷贝给namenode

    所以,为了避免以上问题,最好在配置namenode工作目录参数时,namenode的工作目录应该配载多块磁盘上。

  • 相关阅读:
    201621123059《Java程序设计》第二周学习总结
    学习计划表
    201621123059《java程序设计》第一周学习总结
    C语言I作业06
    C语言I博客作业05
    C语言I博客作业04
    志勇的C语言I博客作业03
    志勇的C语言I博客作业02
    志勇的第一周作业
    pdf文件完美转换技巧分享
  • 原文地址:https://www.cnblogs.com/fjlcoding/p/10230161.html
Copyright © 2011-2022 走看看