首先所有知识以官网为准，所有的内容在官网上都有展示，所有的变动与改进，新增内容都以官网为准。hadoop.apache.org
Hadoop是一个开源的可拓展的分布式并行处理计算平台，利用服务器集群根据用户的自定义业务逻辑，对海量数据进行分布式处理。Hadoop提供了一个可靠的共享存储和分析系统，Hadoop的核心三大组件有HDFS（分布式文件系统），MapReduce（分布式运算编程框架），YARN（运算资源调度系统）。HDFS实现了数据的存储，负责对文件的读写；MapReduce实现了数据的分析和处理；Yarn负责为MapReduce程序分配运算硬件资源。以其高拓展，高效率，高可靠，可构建在廉价的机器上等优点得到了越来越广泛的应用。
分布式存储HDFS详解
重点概念：文件切块，副本存放，元数据
HDFS的概念和特性
什么是分布式文件系统？
计算机通过文件系统管理、存储数据，而信息爆炸时代中人们可以获取的数据成指数倍的增长，单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式，在容量大小、容量增长速度、数据备份、数据安全等方面的表现都差强人意。分布式文件系统可以有效解决数据的存储和管理难题：将固定于某个地点的某个文件系统，扩展到任意多个地点/多个文件系统，众多的节点组成一个文件系统网络。每个节点可以分布在不同的地点，通过网络进行节点间的通信和数据传输。人们在使用分布式文件系统时，无需关心数据是存储在哪个节点上、或者是从哪个节点从获取的，只需要像使用本地文件系统一样管理和存储文件系统中的数据。这是来自百度的介绍，我就偷下懒。
分布式存储：
1.数据块分布在多台机器上
2.每一数据块都可以冗余存储在多台机器上，以提高数据块的高可用性
分布式存储集群：
master/slave结构集群
1.存在slave上的文件
表示真实存放数据的文件即本地磁盘文件
2.存在master上的文件
表示逻辑文件，它表示这个逻辑文件全路径名，与这个全路径对应的有数据块的存储信息（数据位置等）
HDFS的设计目标：
将大文件、大批量的文件，分布式存储在大量的服务器上，以便采取分而治之的方式对海量数据进行运算分析。
在大数据系统中的作用：
为各类分布式运算框架（如：mapreduce，spark，tez，......）提供数据存储服务
HDFS的概念和特征
首先它是一个文件系统，用于存储文件，通过通过统一的命名空间——目录树来定位文件
其次它是分布式的，由很多服务器联合起来实现其功能。
重要特性如下：
（1）HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中是64M
（2）HDFS文件系统会给客户端提供一个统一的抽象目录树，客户端通过路径来访问文件，形如：hdfs://namenode:port/dir-a/dir-b/dir-c/file.data
（3）目录结构及文件分块信息(元数据)的管理由namenode节点承担
——namenode是HDFS集群主节点，负责维护整个hdfs文件系统的目录树，以及每一个路径（文件）所对应的block块信息（block的id，及所在的datanode服务器）
（4）文件的各个block的存储管理由datanode节点承担
---- datanode是HDFS集群从节点，每一个block都可以在多个datanode上存储多个副本（副本数量也可以通过参数设置dfs.replication）
（5）HDFS是设计成适应一次写入，多次读出的场景，且不支持文件的修改
(注：适合用来做数据分析，并不适合用来做网盘应用，因为，不便修改，延迟大，网络开销大，成本太高，但可以合并小文件)
Hadoop的配置文件详解
客户端连接hadoop集群时，可以指定配置文件。用户根据自己的需求对配置选项修改。Hadoop在运行时，会优先使用用户的配置文件
Configuration conf = new Configuration()
1.向namenode通信请求上传文件。
2.namenode检查目标文件是否已存在，父目录是否存在
3.namenode返回是否可以上传
4.Client请求第一个block该传输到哪些datanode服务器上（首先提供要保存多少个副本，默认是配置文件的副本数）
5.namenode返回3个datanode服务器A,B,C
6.Client通过socket请求3台datanode的一台上传数据（本质上是一个RPC调用，建立pipeline），A收到请求就会继续调用B，然后B调用C将整个pipeline建立完成，逐级返回客户端
7.client开始往A上传第一个block（先从磁盘读取数据到一个本地内存缓存），以packet为单位，A收到一个packet就会传给B，B传给C；A每传一个packet会放入一个应答队列等待应答
8当一个block传输完成之后，client再次请求namenode上传第二个block的服务器。循环以上4到7的步骤。
HDFS主从结构
Namenode：是主节点，保存文件元数据信息，文件属性（生成时间，副本数，文件权限），以及每个文件的块列表和块所在DataNode等，服务器，文件怎么存；Namenode将元数据一部分存放在内存中，一部分存放在本地磁盘中（fsimage：镜像文件和edits：编辑日志）
Datanode：存文件（在本地文件系统中存储文件块数据，以及块的校验和），心跳
辅助
Secondary NameNode 用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。
NameNode：是由哪个文件中的哪个配置属性指定的呢？
core-site.xml文件中； <property> <name>fs.defaultFS</name> <value>hdfs://ns1:8020</value> </property>
DataNodes：是由哪个文件中的哪个配置属性指定的呢？
slaves配置文件中的配置项
SecondaryNameNode：是由哪个文件中的哪个配置属性指定的呢？
hdfs-site.xml文件中
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop-senior.ibeifeng.com:50090</value>
</property>
拓展：跨服务器的通信怎么做？
RPC通信框架，自定义RPC，IPC
关于Hadoop的一些配置可以看官网，官网上面有属性看，但是没有描述，比如这时候可以看
hadoop-2.6.1sharehadoopyarnhadoop-yarn-server-common-2.6.1.jar 里面有个yarn-default.xml
里面有详细的描述。
MapReduce的理解参考：