HDFS
NameNode(NN): 接受客户端的读写服务
NameNode保存metadata信息:
--fsimage中包括:
1.文件ownership和permissions
2.文件包含哪些块儿
--Block的位置信息不会保存到fsimage,DataNode启动时主动汇报给NameNode
3.Block保存在哪个DataNode(由DataNode启动时上报)
NameNode的metadata信息在启动后会加载到内存
metadata存贮到磁盘文件名为"fsimage"
metadata的操作日志记录在"edits"
DataNode启动时上报3,结合1,2形成完整metadata信息
(Hadoop2.x环境HA无SNN)
SecondNameNode(SNN):帮助NN合并fsimage和edits文件,减少启动时间
触发合并时机:
1.fs_checkpoint_period默认3600s
2.fs.checkpoint.size默认64M
DataNode(DN)
1.存贮数据(Block)
2.启动时向NN汇报Block消息
3.与DN心跳机制,默认3s一次,10mins无响应lost