HDFS简介

HDFS概述

　　　　简介:根据Google的GFS的开源实现，Hadoop分布式文件系统，是一个分布式文件存储系统。

优点

　　　1，高容错性：数据自动保存为多个副本，副本丢失后自动恢复，（block元数据信息+心跳），多副本，提供容错机制，副本丢失或宕机自动恢复，默认存3份。

　　　2，适合批处理：移动数据而非移动计算，数据位置暴露给计算框架（Block偏移量）

　　　3，适合大数据处理：GB，TB甚至PB的级别的数据

　　　　　　　　　　　　 HDFS的Block机制适合大数据,HDFS默认会将文件分割成Block，Block默认64M，将Block按键值对存储到HDFS上，并将键值对的映射存储到内存中。小文件太多，NameNode内存压力会大。

　　　　　　　　　　　　百万规模以上的文件数量

　　　　　　　　　　　　10K+节点

　　  4，可构建在廉价机器上：通过多副本提高可靠性，提供了容错和恢复机制

缺点

　　    1 低延迟数据访问：比如毫秒级，低延迟与高吞吐率

　　　 2 小文件存取：占用NameNode大量内存，寻道时间超过读取时间

　　　3 并发写入，文件随机修改：一个文件只能有一个写者，只支持append，如何使用Append实现数据的CRUD？追加+标记+删除更改

版本

　　 HDFS1.0，HDFS1.0:SecondaryNameNode

　　 HDFS2.0，HDFS2.0:主备设计(active/standby)

HDFS存储模型:Block

　　1 文件线性切割成块(Block)：偏移量offset(byte)

　　2 Block分散存储在集群节点中

　　3 单一文件Block大小一致，文件与文件可以不一致

　　4 block可以设置副本数，副本分散在不同的节点中，副本数不要超过节点数

　　5 文件上传可以设置Block大小和副本数

　　6 已经上传的文件Block大小和副本数可以调整，大小不变

　　7 只支持一次写入多次读取，同一时刻只有一个写入者

　　8 可以Append追加数据