zoukankan      html  css  js  c++  java
  • Hadoop学习笔记之二:NameNode

    NameNode对三大协议接口(NamenodeProtocol、ClientProtoco、DatanodeProtocol)进行实现,利用ipc::Server通过三个协议分别向SNN、Client、DN提供RPC服务(参考:Hadoop IPC);

    NameNode的核心是FSNamesysem;

    FSNamesystem持有几大主要数据结构:FSDirectory维护系统目录结构、BlocksMap维护数据块信息、LeaseManagr维护租约信息;此外,还通过DatandeDescriptor、corruptReplicas等维护数据结点(DN)状态、坏副本等信息;

    FSDirectory通过FSImage及FSEditLog保存目录结构的某一时刻镜像(image)及对镜像的修改(edit);其中,修改的内容可以通过EditLogOutputStream写出;

    Namespace(命名空间)

    HDFS的Namespace(命名空间)用于记录系统中目录、文件、块之间的映射关系。

    Namespace的内存结构

    与传统使用习惯相同,HDFS使用了一棵树形结构。示意图如下:

    INodeDirectory -/
    |--- INodeFile -/
    |--- BlockInfo
    |--- BlockInfo
    |--- INodeDirectory -/
    |--- INodeFile
    |--- INodeFile

    INodeDirectory代表目录,目录可以映射到子目录及文件,文件映射到相关的文件块。

    最顶层的目录—根目录(rootDir)由FSDirectory结构记录。

    Namespace的外存存储

    在需要的时候,NameNode可以将Namespace写出到磁盘。

    写出时,从rootDir开始,对整棵命名树进行一次广度优先遍历,对遍历到的INode(INodeFile/INodeDirectory)依次写出到一个文件中。这个文件命名为fsImage。

    fsImage是对Namespace的静态描述,在写出fsImage时,要求Namespace不可改变,而且比较耗时。

    在整个系统提供连续服务的情况下,HDFS使用另一个文件记录Namespace的变化(添加/删除文件),对Namespace进行动态描述。这个文件命名为edits。

    通过fsImage和edits的结合,可以即不影响服务,又能在外存记录Namespace的实时状态,避免因NameNode宕机造成元数据丢失。

    BlocksMap

    BlocksMap是NameNode保存block对象的容器。

    所有的Block对象被封装成BlockInfo对象,BlockInfo对象组织成HashMap进行存储;

    BlockInfo对象使用多个(与复本个数相同)三元组(triplets)保存每个block复本的位置信息;

    三元组中第一个位元指向相应复本所在的DataNode;如图中虚线所示;

    第二个位元指向相同DataNode中前一个Block;第三个位元指向相同DataNode中后一个Block;如图中实现所示,从一个DatanodeDescriptor开始,通过一个双向链表,可以找到该DataNode上所有的Block;

    辅助线程

    Namenode除服务主线程外,还有多个辅助线程如下:

    线程名 描述
    hbthread HeartbeatMonitor线程,每5秒运行一次,每5分钟检查一次节点列表,对心跳超时(10.5分种)的节点断定死亡;参见Heartbeat(心跳)
    lmthread LeaseMonitor线程,每2秒检查租约是否超过hardLimit(1h);参见Lease(租约)
    smmthread SafeModeMonitor线程,进入safeMode时才创建运行,每1秒钟检查一次是否可以离开,离开safeMode后线程结束;参见safeMode(安全模式)
    replthread Replication线程,每3秒钟为Datanode分配replication任务,维护neededReplications和pendingReplications;参见Replication(复制)
    nnrmthread NamenodeResourceMonitor线程,每5秒运行一次,检查磁盘空间不足的情况下使NN进入safemode;参见NameNodeResourceMonitor
    pendingReplications.timerThread PendingReplicationBlocks线程,每5分钟将pendingReplications中的超时操作移到timedOutItems,见Replication(复制)
    dnthread DecommissionManager线程,默认每30秒最多检查5个节点的Decommission状态;参见Decommission(退役)
    httpServer  
  • 相关阅读:
    如果前面的IO操作出问题了,按照我们代码的意思,不就try catch 了吗,这样的话线程就没关闭了,就会造成线程泄露。 那怎么解决这个问题呢,其实也简单,把关闭线程的方法写到finally里就可以了。
    Dataeye计算任务架构
    Mercury:唯品会全链路应用监控系统解决方案详解(含PPT)
    app 爬虫
    唯品会HDFS性能挑战和优化实践
    构建Hadoop监控共同体
    消除单点故障 flume
    时间戳 Flume's Memory Consumption
    telnet nmap netstap
    hdfs ha
  • 原文地址:https://www.cnblogs.com/ZisZ/p/3253240.html
Copyright © 2011-2022 走看看