搞hadoop一段时间了,总的来说一些东西都是零零总总,没有形成一个系统总结一下,在今后的blog中,总结相关内容是将会是接下来的内容。
先从概述来讲一下hadoop hdfs的结构,hdfs由四部分组成,分别是1、Namenode(包括有INode,blockMap,FSNamesystem,FSDirectory等结构);2、Datanode(Datanode,FSDataset等);3、Client(DFSClient,DistributeFileSystem等) 4、底层的IPC通信机制。
其中Namenode,Datanode以及Client都是通过IPC定义相关的protocol进行通信,内部逻辑之间紧密相连。
之后会从这四个方面一一介绍。