HDFS详细分析二

1）HDFS读过程

DistributedFileSystem -> FSDataInputStream -> DFSClient.open(RPC通信机制) -> NN.open

 

HDFS写过程

DIstributedFileSystem -> FSDataOutputStream -> DFSClient.create(RPC通信机制) -> NN.create

 

2）SecondaryNamenode的作用与机制

SecondaryNamenode不是完全意义上的Namenode的一个备份

拉取FSimage和edits文件在SNN的内存中进行合并

fs.checkpoint.period

fs.checkpoint.size

fs.checkpoint.dir

 

 

checkpoint node (和secondaryNamenode一致，Hadoop2中secondaryNamenode已被此替代)

 

backup node 完全意义上的Namenode备份

 

 

3）一旦丢失Namenode或者元数据信息，我们可以通过SecondaryNamenode的检查点目录回复我们的元数据信息

hadoop namenode -importCheckpoint

hadoop-daemon.sh start namenode

 

4)机架感知

默认情况下所有的Datanode认为是处于同一个机架，不管物理上是否处于用一个机架

/default-rack

如果需要配置真正的网络拓扑结构，需要配置以下文件：

topology.script.file.name属性值是一个脚本，这个脚本里面写的是真正意义上的网络拓扑结构

/d1/reck1/dn1