一.简介
HDFS【Hadoop Distributed File System】是Hadoop组件中的分布式存储系统，提供高可靠性、高扩展性和高吞吐率的数据存储服务。
二.存储模型
1.文件线性切割成块【Block】，块分散存储在集群的各个节点中。
2.单一文件Block大小一致，不同的文件可以设置的不一样。
3.Block可以设置副本数，副本分散在不同的节点【副本数不要超过节点数，这样副本设置才有意义】。
4.文件上传可以设置Block大小和副本数，已上传的文件Block副本数可以调整，大小不变。
5.只支持一次写入多次读取，同一时刻只有一个写入，可以追加数据。
三.架构模型
1.NameNode【主】节点保存文件元数据，DataNode节点保存文件Block数据。
2.DataNode和NameNode之间通过心跳确认各个节点的健康情况，以及是否需要重启节点。
3.HDFSClient与NameNode交互元数据信息，与DataNode交互文件Block数据【需先访问NameNode】。
四.NameNode【NN】
特点：
1.基于内存存储，不会和磁盘发生交换。
2.接受客户端的读写请求，收集DataNode汇报的Block列表信息。
3.保存metadata信息，包括：文件ownership和permissions、文件大小、时间、Block列表、Block偏移量、位置信息和Block副本位置【由DataNode上报】等。
持久化：
1.NameNode的metadata信息在启动后会加载到内存。
2.metadata存储到磁盘文件名称为"fsimage"。
3.Block的位置信息不会保存到fsimage。
4.edits记录对metadata的操作日志。
五.DataNode【DN】
特点：
1.本地磁盘目录存储数据【Block】，文件形式
2.同时存储Block的元数据信息文件
3.启动DN时会向NN汇报block信息
4.通过向NN发送心跳保持与其联系【3s一次】，如果NN10Minutes没有收到DN的心跳，则认为其已经lost，并copy其上的block到其它DN节点
六.SecondaryNameNode【SNN】
它不是NN的备份【但可以做备份】，它主要的工作是帮助NN合并edits log，减少NN启动时间。
SNN执行合并时机
》根据配置文件设置的时间间隔fs.checkpoint.period默认3600s
》根据配置文件设置edits log大小fs.checkpoint.size规定edits文件的最大值默认是64M
SNN合并流程图解：
七.优点
1.高容错性
》数据自动保存副本
》副本丢失后自动恢复
2.适合批处理
》数据不动代码动
》数据位置暴露给计算框架【Block偏移量】
3.适合大数据处理
》GB、TB、甚至PB级别数据
》百万规模以上的文件数量
》10k+节点
4.可构建在廉价机器上
》通过多副本提高可靠性
》提供了容错和恢复机制
八.缺点
1.小文件存取
》占用NameNode大量内存
》寻道时间超过读取时间
2.并发写入、文件随机修改
》一个文件只能有一个写者
》仅支持append
3.低延迟数据访问
》数据延迟较大，比如毫秒级
》低延迟与高吞吐率成反比