一、hdfs概述
HDFS是Hadoop分布式文件系统(Hadoop Distributed File System)的简称，它的设计目标是把超大数据集存储到网络中的多台普通计算机上，并提供高可靠性和高吞吐率的服务。
HDFS的优点：
高容错性：数据自动保存多个副本，hdfs默认的副本数量是3
适合处理大数据：能够处理GB、TP甚至BP级别的数据，能够处理百万规模以上的文件数量
可构建在廉价机器上
HDFS的缺点：
不适合低延迟的数据访问：hdfs无法实现毫秒级别的数据存储和访问，hdfs提供高吞吐量但无法提供低延迟数据访问
无法高效处理大量的小文件：大量小文件会占用namenode大量的内存来存储元数据，且会导致寻址时间过长
不支持并发写入和随机修改：一个文件只能有一个写，不允许多个线程同时写；仅支持数据追加append，不支持随机修改
二、hdfs组织和架构
hdfs主要有3个组间构成，分别是NameNode、SecondaryNameNode和DataNode。
NameNode的主要功能：
管理文件系统的名称空间
配置副本策略
管理元数据，维护目录树，包括文件名、目录名及其层级关系，文件、目录的所有者及权限，每个文件的数据块名称及文件有哪些数据块
处理客户端的读写请求
NameNode实时通过心跳消息与DataNode交互，检查文件系统是否运行正常。
namenode中的元数据不包含每个数据块的位置信息，位置信息会在namenode启动时从datanode获取并保存在内存中，减少寻址时间。
DataNode的主要功能：
存储实际的数据块
执行数据块的读写操作
SecondaryNameNode的主要功能：
定期合并fsimage文件和edits文件
紧急情况辅助恢复NameNode。
client，就是客户端
与NameNode交互，获取文件位置信息
与DataNode交互，进行文件读写操作
NameNode上存储元数据的文件叫fsimage，NameNode启动时将fsimage加载到内存，对元数据的操作保存在内存中并被持久化到另一个文件edits，SecondaryNameNode合并fsimage和edits的过程：
合并之前通知NameNode将新的操作写到新的edits文件并将其命令为edits.new
SecondaryNameNode从NameNode请求fsimage和edits文件
SecondaryNameNode把fsimage和edits文件合并生成新的fsimage文件
NameNode从SecondaryNameNode获取合并好的fsimage并替换原来旧的fsimage，并用edits.new文件替换掉原来的edits文件
更新fstime文件中的检查点。