NameNode对三大协议接口(NamenodeProtocol、ClientProtoco、DatanodeProtocol)进行实现,利用ipc::Server通过三个协议分别向SNN、Client、DN提供RPC服务(参考:Hadoop IPC);
NameNode的核心是FSNamesysem;
FSNamesystem持有几大主要数据结构:FSDirectory维护系统目录结构、BlocksMap维护数据块信息、LeaseManagr维护租约信息;此外,还通过DatandeDescriptor、corruptReplicas等维护数据结点(DN)状态、坏副本等信息;
FSDirectory通过FSImage及FSEditLog保存目录结构的某一时刻镜像(image)及对镜像的修改(edit);其中,修改的内容可以通过EditLogOutputStream写出;
Namespace(命名空间)
HDFS的Namespace(命名空间)用于记录系统中目录、文件、块之间的映射关系。
Namespace的内存结构
与传统使用习惯相同,HDFS使用了一棵树形结构。示意图如下:
INodeDirectory -/
|--- INodeFile -/
|--- BlockInfo
|--- BlockInfo
|--- INodeDirectory -/
|--- INodeFile
|--- INodeFile
INodeDirectory代表目录,目录可以映射到子目录及文件,文件映射到相关的文件块。
最顶层的目录—根目录(rootDir)由FSDirectory结构记录。
Namespace的外存存储
在需要的时候,NameNode可以将Namespace写出到磁盘。
写出时,从rootDir开始,对整棵命名树进行一次广度优先遍历,对遍历到的INode(INodeFile/INodeDirectory)依次写出到一个文件中。这个文件命名为fsImage。
fsImage是对Namespace的静态描述,在写出fsImage时,要求Namespace不可改变,而且比较耗时。
在整个系统提供连续服务的情况下,HDFS使用另一个文件记录Namespace的变化(添加/删除文件),对Namespace进行动态描述。这个文件命名为edits。
通过fsImage和edits的结合,可以即不影响服务,又能在外存记录Namespace的实时状态,避免因NameNode宕机造成元数据丢失。
BlocksMap
BlocksMap是NameNode保存block对象的容器。
所有的Block对象被封装成BlockInfo对象,BlockInfo对象组织成HashMap进行存储;
BlockInfo对象使用多个(与复本个数相同)三元组(triplets)保存每个block复本的位置信息;
三元组中第一个位元指向相应复本所在的DataNode;如图中虚线所示;
第二个位元指向相同DataNode中前一个Block;第三个位元指向相同DataNode中后一个Block;如图中实现所示,从一个DatanodeDescriptor开始,通过一个双向链表,可以找到该DataNode上所有的Block;
辅助线程
Namenode除服务主线程外,还有多个辅助线程如下:
线程名 | 描述 |
hbthread | HeartbeatMonitor线程,每5秒运行一次,每5分钟检查一次节点列表,对心跳超时(10.5分种)的节点断定死亡;参见Heartbeat(心跳) |
lmthread | LeaseMonitor线程,每2秒检查租约是否超过hardLimit(1h);参见Lease(租约) |
smmthread | SafeModeMonitor线程,进入safeMode时才创建运行,每1秒钟检查一次是否可以离开,离开safeMode后线程结束;参见safeMode(安全模式) |
replthread | Replication线程,每3秒钟为Datanode分配replication任务,维护neededReplications和pendingReplications;参见Replication(复制) |
nnrmthread | NamenodeResourceMonitor线程,每5秒运行一次,检查磁盘空间不足的情况下使NN进入safemode;参见NameNodeResourceMonitor |
pendingReplications.timerThread | PendingReplicationBlocks线程,每5分钟将pendingReplications中的超时操作移到timedOutItems,见Replication(复制) |
dnthread | DecommissionManager线程,默认每30秒最多检查5个节点的Decommission状态;参见Decommission(退役) |
httpServer |