zoukankan      html  css  js  c++  java
  • Hadoop一些问题总结

    1、运行mr程序出错
      connecting to resoucemanager
      retrying ....
      retrying .....

      原因是没有启动yarn或者启动失败

    2、初始化工作目录结构
      hdfs namenode -format 只是初始化了namenode的工作目录
      而datanode的工作目录是在datanode启动后自己初始化的

    3、datanode不被namenode识别的问题
       namenode在format初始化的时候会形成两个标识:
      blockPoolId:
      clusterId:

      新的datanode加入时,会获取这两个标识作为自己工作目录中的标识

      一旦namenode重新format后,namenode的身份标识已变,而datanode如果依然持有原来的id,就不会被namenode识别


    4、datanode下线后多久看到效果
      datanode不是一下线就会被namenode认定为下线的,有一个超时时间


    5、关于副本数量的问题
      副本数由客户端的参数dfs.replication决定(优先级: conf.set > 自定义配置文件 > jar包中的hdfs-default.xml)


    6、可以通过-DHADOOP_USER_NAME=hadoop来处理报错 persmission报错问题user=windows的用户名这个时候需要更改登录hadoop的用户名

    7、namenode安全模式问题

      当namenode发现集群中的block丢失数量达到一个阀值时,namenode就进入安全模式状态,不再接受客户端的数据更新请求

      在正常情况下,namenode也有可能进入安全模式:
        集群启动时(namenode启动时)必定会进入安全模式,然后过一段时间会自动退出安全模式(原因是datanode汇报的过程有一段持续时间)
      也确实有异常情况下导致的安全模式
        原因:block确实有缺失
        措施:可以手动让namenode退出安全模式,bin/hdfs dfsadmin -safemode leave
        或者:调整safemode门限值: dfs.safemode.threshold.pct=0.999f

  • 相关阅读:
    A. Playing with Paper
    手摇算法
    perl之创建临时文件夹遇到同名文件该咋办
    B. Two Buttons
    A Pangram
    shell的面试题
    A. Game
    B. Drazil and His Happy Friends
    A. Drazil and Date
    2道阶乘的算法题
  • 原文地址:https://www.cnblogs.com/atomicbomb/p/6896382.html
Copyright © 2011-2022 走看看