zoukankan      html  css  js  c++  java
  • Hadoop一些问题总结

    1、运行mr程序出错
      connecting to resoucemanager
      retrying ....
      retrying .....

      原因是没有启动yarn或者启动失败

    2、初始化工作目录结构
      hdfs namenode -format 只是初始化了namenode的工作目录
      而datanode的工作目录是在datanode启动后自己初始化的

    3、datanode不被namenode识别的问题
       namenode在format初始化的时候会形成两个标识:
      blockPoolId:
      clusterId:

      新的datanode加入时,会获取这两个标识作为自己工作目录中的标识

      一旦namenode重新format后,namenode的身份标识已变,而datanode如果依然持有原来的id,就不会被namenode识别


    4、datanode下线后多久看到效果
      datanode不是一下线就会被namenode认定为下线的,有一个超时时间


    5、关于副本数量的问题
      副本数由客户端的参数dfs.replication决定(优先级: conf.set > 自定义配置文件 > jar包中的hdfs-default.xml)


    6、可以通过-DHADOOP_USER_NAME=hadoop来处理报错 persmission报错问题user=windows的用户名这个时候需要更改登录hadoop的用户名

    7、namenode安全模式问题

      当namenode发现集群中的block丢失数量达到一个阀值时,namenode就进入安全模式状态,不再接受客户端的数据更新请求

      在正常情况下,namenode也有可能进入安全模式:
        集群启动时(namenode启动时)必定会进入安全模式,然后过一段时间会自动退出安全模式(原因是datanode汇报的过程有一段持续时间)
      也确实有异常情况下导致的安全模式
        原因:block确实有缺失
        措施:可以手动让namenode退出安全模式,bin/hdfs dfsadmin -safemode leave
        或者:调整safemode门限值: dfs.safemode.threshold.pct=0.999f

  • 相关阅读:
    Google调试技巧总结
    Reorder List -- leetcode
    Java回合阵列List
    他们控制的定义(2.3):SurfaceView和SurfaceHolder
    ImageView建立selector在录音中遇到的小问题及解决方案
    cocos2d 简单的日常高仿酷跑游戏
    Xcode的小标记旁边的文件的名称的作用
    c++中的对象引用(object reference)与对象指针的区别
    UIColor深入研究(CGColor,CIColor)
    UIImage图片处理
  • 原文地址:https://www.cnblogs.com/atomicbomb/p/6896382.html
Copyright © 2011-2022 走看看