zoukankan      html  css  js  c++  java
  • Hadoop_10_HDFS 的 DataNode工作机制

    1.DataNode的工作机制:

      1、DataNode工作职责:存储管理用户的文件块数据

                  定期向namenode汇报自身所持有的block信息(通过心跳信息上报)

      (这点很重要,因为,当集群中发生某些block副本失效时,集群如何恢复block初始副本数量的问题)

       2.配置文件:

    <property>
        <name>dfs.blockreport.intervalMsec</name>
        <value>3600000</value>
        <description>Determines block reporting interval in milliseconds.</description>
    </property>

    2.DataNode掉线判定时限:

      datanode进程死亡或者网络故障造成datanode无法与namenode通信,namenode不会立即把该节点判定为

    死亡,要经过一段时间,这段时间暂称作超时时长。HDFS默认的超时时长为10分钟+30秒。如果定义超时时间

    为timeout,则超时时长的计算公式为:

      timeout  = 2 * heartbeat.recheck.interval + 10 * dfs.heartbeat.interval 

      而默认的heartbeat.recheck.interval 大小为5分钟,dfs.heartbeat.interval默认为3秒

      需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒,dfs.heartbeat.

    interval的单位为秒

      举例,如果heartbeat.recheck.interval设置为5000(毫秒),dfs.heartbeat.interval设置为3(秒,默认)

    ,则总的超时时间为40秒

    <property>
            <name>heartbeat.recheck.interval</name>
            <value>2000</value>
    </property>
    <property>
            <name>dfs.heartbeat.interval</name>
            <value>1</value>
    </property>

    3.总结:

      datanode不是一下线就会被namenode认定为下线的,有一个超时时间

     

  • 相关阅读:
    sql 生成javabean实体
    git 安装 使用过程遇到的问题
    CentOS7 ab压力测试安装
    Lvs+keepalived+mysql(主从复制)
    liunx下tomcat启动 Cannot find ./catalina.sh
    ftp和ssh登录缓慢的解决办法
    Contos7 FTP 安装步骤
    python生成100以内格式化的数
    Windows中更新python模块的命令
    scrapy的User-Agent中间件、代理IP中间件、cookies设置、多个爬虫自定义settings设置
  • 原文地址:https://www.cnblogs.com/yaboya/p/9195845.html
Copyright © 2011-2022 走看看