zoukankan      html  css  js  c++  java
  • 99每日博客

    今天学习DataNode 工作 机制:

    1)一个数据块在 DataNode 上以文件形式存储在磁盘上,包括两个文件,一个是数据
    本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。
    (2)DataNode 启动后向 NameNode 注册,通过后,周期性(6 小时)的向 NameNode 上
    报所有的块信息。
    DN 向 NN 汇报当前解读信息的时间间隔,默认 6 小时;
    <property>
    <name>dfs.blockreport.intervalMsec</name>
    <value>21600000</value>
    <description>Determines block reporting interval in
    milliseconds.</description>
    </property>
    DN 扫描自己节点块信息列表的时间,默认 6 小时
    <property>
    <name>dfs.datanode.directoryscan.interval</name>
    <value>21600s</value>
    <description>Interval in seconds for Datanode to scan data

    directories and reconcile the difference between blocks in memory and on
    the disk.
    Support multiple time unit suffix(case insensitive), as described
    in dfs.heartbeat.interval.
    </description>
    </property>
    (3)心跳是每 3 秒一次,心跳返回结果带有 NameNode 给该 DataNode 的命令如复制块
    数据到另一台机器,或删除某个数据块。如果超过 10 分钟没有收到某个 DataNode 的心跳,
    则认为该节点不可用。
    (4)集群运行中可以安全加入和退出一些机器。

  • 相关阅读:
    DTV_SI 汇总 & 兼谈LCN
    Java 泛型 五:泛型与数组
    Java 泛型 四 基本用法与类型擦除
    Java 泛型 三
    Java 泛型 二
    Java 泛型 一
    Java集合类解析 ***
    Java 集合类
    MySQL入门01-MySQL源码安装
    如何彻底杀掉不良用户会话
  • 原文地址:https://www.cnblogs.com/ruangongwangxiansheng/p/14161531.html
Copyright © 2011-2022 走看看