zoukankan      html  css  js  c++  java
  • hadoop常见问题

    1。运行mapreduce程序出错,
    connection to resourcemanager
    retrying ...
    retrying ...
    原因是没有启动yarn或者启动失败

    2.hdfs namenode -format 只是初始化了namenode的工作目录
    而datanode的工作目录是在datanode启动后自己初始化的

    3。datanode 不被namemode识别的问题
    namenode在format初始化的时候会形成两个标识
    blockpoolId
    clusterId
    新的datanode加入时,会获取这两个标识作为自己工作目录中的标识
    一旦namenamenode重新format后,namenode的身份标识已经改变,而datanode如果依然持有原来的ID,就不会被namenode识别
    解决办法是删除(清空)datanode的工作目录

    4。datanode下线后多久看到效果,(页面上不会立即显示出已经下线)
    有一个超时时间,超过了这个时间才被认定下线

    5.关于副本数量的问题
    副本数由客户端的参数dfs.replication决定(优先级:代码中的conf.set> 自定义配置文件>jar包中的hdfs-default.xml)

    上传数据时 datanode的选择策略
    1第一个副本先考虑跟client最近的datanode
    第二个副本再考虑跨机架挑选一个datanode,增加副本的可靠性
    3.选择同机架的一个datanode


    文件传输是以packet为单位的64kb ,在packet中有chunk概念,chunk是512字节会校验一次

  • 相关阅读:
    服务器基础安全配置
    PhpStorm服务激活
    MySQL快速生成本地测试数据
    mac上php版本切换
    保存修改数据记录(数据库)
    java面向对象整理
    用JavaScript实现表格编辑器
    循环之 打鱼还是晒网这是个问题
    循环之圆周率计算次数
    JAVASE 循环 之 计算各位上数字的和
  • 原文地址:https://www.cnblogs.com/rocky-AGE-24/p/6879376.html
Copyright © 2011-2022 走看看