zoukankan      html  css  js  c++  java
  • 怎么识别datanode stale了?

    DataNode职责:

    • 存储管理用户的文件块数据
    • 定期向namenode汇报自身所持有的block信息(通过心跳信息上报)

      (这点很重要,因为,当集群中发生某些block副本失效时,集群如何恢复block初始副本数量的问题)

    当一个datanode满足如下条件时被认为是stale了:

    当一台datanode的last contact(即上一次收到datanode心跳到当前时刻的时间间隔)相对于其他datanode更长的时候,该datanode就会被认为是stale的。当一台datanode变为stale状态后,其读写优先级将被置为最低。

    如果使用默认值的话,当一台datanode的心跳消失30秒钟,namenode会认为这台datanode stale了。如果又过了10分钟(总共10.5分钟)还没有心跳,namenode会认定datanode死亡了。

    相关属性包括:

    • dfs.heartbeat.interval - default: 3 seconds
    • dfs.namenode.stale.datanode.interval - default: 30 seconds
    • dfs.namenode.heartbeat.recheck-interval - default: 5 minutes
    • dfs.namenode.avoid.read.stale.datanode - default: true
    • dfs.namenode.avoid.write.stale.datanode - default: true

    DataNode掉线判定时限:
    datanode进程死亡或者网络故障造成datanode无法与namenode通信,namenode不会立即把该节点判定为死亡,要经过一段时间,这段时间暂称作超时时长。HDFS默认的超时时长为10分钟+30秒。

    如果定义超时时间为timeout,则超时时长的计算公式为:

    timeout = 2 * heartbeat.recheck.interval + 10 * dfs.heartbeat.interval

    而默认的heartbeat.recheck.interval 大小为5分钟,dfs.heartbeat.interval默认为3秒。

    需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒,dfs.heartbeat.interval的单位为秒。

    所以,举个例子,如果heartbeat.recheck.interval设置为5000(毫秒),dfs.heartbeat.interval设置为3(秒,默认),则总的超时时间为40秒。

  • 相关阅读:
    web三大组件的注册
    springboot 支持 jsp
    redis 储存session
    springboot 做切面
    springboot web静态资源访问
    springboot加载外部配置文件
    springboot 两种配置文件,application.properties ,application.yml ,注入值的两种方式,主动@ConfigurationProperties与被动@value,和其他注解Conditional,PropertySource
    今日立春,SpringBoot! 简单springboot项目搭建开始。
    linux防火墙开放端口
    Don’t try to create file system on an “extended” partition
  • 原文地址:https://www.cnblogs.com/sx66/p/12605059.html
Copyright © 2011-2022 走看看