Hadoop之HDFS

Hadoop之HDFS

• 一、HDFS概述
• 1.1 HDFS使用场景
• 1.2 HDFS优缺点
• 1.2.1 优点
• 1.2.2 缺点
• 1.3 HDFS的辅助功能
• 1.3.1 心跳机制
• 1.3.2 安全模式
• 二、HDFS组成架构
• 2.1 HDFS文件块大小
• 三、HDFS的Shell操作
• 3.1 基本语法
• 3.2常用命令
• 启动Hadoop集群
• -ls: 显示目录信息
• -mkdir：在HDFS上创建目录
• -moveFromLocal：从本地剪切粘贴到HDFS
• -appendToFile：追加一个文件到已经存在的文件末尾
• -cat：显示文件内容
• -chgrp 、-chmod、-chown：Linux文件系统中的用法一样，修改文件所属权限
• -copyFromLocal：从本地文件系统中拷贝文件到HDFS路径去
• -copyToLocal：从HDFS拷贝到本地
• -cp ：从HDFS的一个路径拷贝到HDFS的另一个路径
• -mv：在HDFS目录中移动文件
• -get：等同于copyToLocal，就是从HDFS下载文件到本地
• -getmerge：合并下载多个文件，比如HDFS的目录 /user/atguigu/test下有多个文件:log.1, log.2,log.3,...
• -put：等同于copyFromLocal
• -tail：显示一个文件的末尾
• -du统计文件夹的大小信息
• -setrep：设置HDFS中文件的副本数量
• 四、HDFS的数据流
• 4.1 写数据
• 4.2 读数据
• 五、NameNode和SecondaryNameNode
• 5.1 NN和2NN工作机制
• 5.2 CheckPoint时间设置
• 5.3 NameNode故障处理
• 方法一：将SecondaryNameNode中数据拷贝到NameNode存储数据的目录；
• 方法二：使用-importCheckpoint选项启动NameNode守护进程，从而将SecondaryNameNode中数据拷贝到NameNode目录中。
• 5.4 NameNode多目录配置
• 六、DataNode
• 6.1DataNode工作机制
• 6.2 数据完整性
• 6.3 掉线时限参数设置
• 6.4 DataNode多目录配置

一、HDFS概述

HDFS(Hdoop D File System)，是一个文件系统，用于存储文件，通过目录树来定位文件，并且是分布式的，由很多服务器联合起来实现其功能，集群中的服务器各有各自的角色。

1.1 HDFS使用场景

适合一次写入，多次读出，且不支持文件的修改。

适合做数据分析，不适合做网盘应用。

1.2 HDFS优缺点

1.2.1 优点

（1）高容错性
数据自动保存多个副本，通过增加副本的方式，提高容错性。

某一个副本丢失以后，它可以自动恢复。

（2）适合处理大数据

数据规模：能够达到GB、TB甚至以上。
文件规模：能够处理百万规模以上的文件数量。

（3）可构建在廉价机器上，通过多副本机制，提高可靠性。

1.2.2 缺点

（1）不适合低延时数据访问，比如毫秒级的存储数据。
（2）无法高效的对大量小文件进行存储。

（1）存储大量小文件的话，会占用NameNode大量的内存来存储文件目录和块信息。然而，NameNode的内存是有限的。
（2）小文件存储的寻址时间会超过读取时间。

（3）不支持并发写入、文件随机修改。

（1）一个文件只能有一个写，不允许多个线程同时写。
（2）仅支持数据append（追加），不支持文件的随机修改。

1.3 HDFS的辅助功能

HDFS作为一个文件系统。有两个最主要的功能：上传和下载。而为了保障这两个功能的完美和高效实现，HDFS提供了很多的辅助功能

1.3.1 心跳机制

• 1、 Hadoop 是 Master/Slave 结构，Master 中有 NameNode 和 ResourceManager，Slave 中有 Datanode 和 NodeManager
• 2、 Master 启动的时候会启动一个 IPC（Inter-Process Comunication，进程间通信）server 服务，等待 slave 的链接
• 3、 Slave 启动时，会主动链接 master 的 ipc server 服务，并且每隔 3 秒链接一次 master，这个间隔时间是可以调整的，参数为 dfs.heartbeat.interval，这个每隔一段时间去连接一次的机制，我们形象的称为心跳。Slave 通过心跳汇报自己的信息给 master，master 也通 过心跳给 slave 下达命令，
• 4、 NameNode 通过心跳得知 Datanode 的状态 ，ResourceManager 通过心跳得知 NodeManager的状态
• 5、 如果 master 长时间都没有收到 slave 的心跳，就认为该 slave 挂掉了。

最终NameNode判断一个DataNode死亡的时间计算公式：

timeout = 10 * 心跳间隔时间 + 2 * 检查一次消耗的时间

心跳间隔时间：dfs.heartbeat.interval 心跳时间：3s，检查一次消耗的时间：heartbeat.recheck.interval checktime : 5min，最终宕机之后630s后显示死亡状态。

1.3.2 安全模式

• 1、HDFS的启动和关闭都是先启动NameNode，在启动DataNode，最后在启动secondarynamenode。
• 2、决定HDFS集群的启动时长会有两个因素：1）磁盘元数据的大小 2）datanode的节点个数

二、HDFS组成架构

2.1 HDFS文件块大小

三、HDFS的Shell操作

3.1 基本语法

bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令
dfs是fs的实现类。

[root@hadoop]$ bin/hadoop fs

[-appendToFile <localsrc> ... <dst>]
        [-cat [-ignoreCrc] <src> ...]
        [-checksum <src> ...]
        [-chgrp [-R] GROUP PATH...]
        [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
        [-chown [-R] [OWNER][:[GROUP]] PATH...]
        [-copyFromLocal [-f] [-p] <localsrc> ... <dst>]
        [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
        [-count [-q] <path> ...]
        [-cp [-f] [-p] <src> ... <dst>]
        [-createSnapshot <snapshotDir> [<snapshotName>]]
        [-deleteSnapshot <snapshotDir> <snapshotName>]
        [-df [-h] [<path> ...]]
        [-du [-s] [-h] <path> ...]
        [-expunge]
        [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
        [-getfacl [-R] <path>]
        [-getmerge [-nl] <src> <localdst>]
        [-help [cmd ...]]
        [-ls [-d] [-h] [-R] [<path> ...]]
        [-mkdir [-p] <path> ...]
        [-moveFromLocal <localsrc> ... <dst>]
        [-moveToLocal <src> <localdst>]
        [-mv <src> ... <dst>]
        [-put [-f] [-p] <localsrc> ... <dst>]
        [-renameSnapshot <snapshotDir> <oldName> <newName>]
        [-rm [-f] [-r|-R] [-skipTrash] <src> ...]
        [-rmdir [--ignore-fail-on-non-empty] <dir> ...]
        [-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
        [-setrep [-R] [-w] <rep> <path> ...]
        [-stat [format] <path> ...]
        [-tail [-f] <file>]
        [-test -[defsz] <path>]
        [-text [-ignoreCrc] <src> ...]
        [-touchz <path> ...]
        [-usage [cmd ...]]

3.2常用命令

启动Hadoop集群

sbin/start-dfs.sh
sbin/start-yarn.sh

-ls: 显示目录信息

hadoop fs -ls /

-mkdir：在HDFS上创建目录

hadoop fs -mkdir -p /sanguo/shuguo

-moveFromLocal：从本地剪切粘贴到HDFS

touch xxxxx.txt
hadoop fs  -moveFromLocal  ./xxxxx.txt  /sanguo/shuguo

-appendToFile：追加一个文件到已经存在的文件末尾

hadoop fs -appendToFile liubei.txt /sanguo/shuguo/kongming.txt

-cat：显示文件内容

hadoop fs -cat /sanguo/shuguo/kongming.txt

-chgrp 、-chmod、-chown：Linux文件系统中的用法一样，修改文件所属权限

hadoop fs  -chmod  666  /sanguo/shuguo/kongming.txt

hadoop fs  -chown  atguigu:atguigu   /sanguo/shuguo/kongming.txt

-copyFromLocal：从本地文件系统中拷贝文件到HDFS路径去

hadoop fs -copyFromLocal README.txt /

-copyToLocal：从HDFS拷贝到本地

hadoop fs -copyToLocal /sanguo/shuguo/kongming.txt ./

-cp ：从HDFS的一个路径拷贝到HDFS的另一个路径

hadoop fs -cp /sanguo/shuguo/kongming.txt /zhuge.txt

-mv：在HDFS目录中移动文件

hadoop fs -mv /zhuge.txt /sanguo/shuguo/

-get：等同于copyToLocal，就是从HDFS下载文件到本地

hadoop fs -get /sanguo/shuguo/kongming.txt ./

-getmerge：合并下载多个文件，比如HDFS的目录 /user/atguigu/test下有多个文件:log.1, log.2,log.3,…

hadoop fs -getmerge /user/atguigu/test/* ./zaiyiqi.txt

-put：等同于copyFromLocal

hadoop fs -put ./zaiyiqi.txt /user/atguigu/test/

-tail：显示一个文件的末尾

hadoop fs -tail /sanguo/shuguo/kongming.txt

-du统计文件夹的大小信息

hadoop fs -du  -h /user/atguigu/test

-setrep：设置HDFS中文件的副本数量

hadoop fs -setrep 10 /sanguo/shuguo/kongming.txt

四、HDFS的数据流

4.1 写数据

1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。
2）NameNode返回是否可以上传。
3）客户端请求第一个 Block上传到哪几个DataNode服务器上。
4）NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。
5）客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成。
6）dn1、dn2、dn3逐级应答客户端。
7）客户端开始往dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以Packet为单位，dn1收到一个Packet就会传给dn2，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待应答。
8）当一个Block传输完成之后，客户端再次请求NameNode上传第二个Block的服务器。（重复执行3-7步）。

4.2 读数据

1）客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。
2）挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。
3）DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）。
4）客户端以Packet为单位接收，先在本地缓存，然后写入目标文件。

五、NameNode和SecondaryNameNode

5.1 NN和2NN工作机制

1. 第一阶段：NameNode启动
（1）第一次启动NameNode格式化后，创建Fsimage和Edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。
（2）客户端对元数据进行增删改的请求。
（3）NameNode记录操作日志，更新滚动日志。
（4）NameNode在内存中对数据进行增删改。

2. 第二阶段：Secondary NameNode工作
（1）Secondary NameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否检查结果。
（2）Secondary NameNode请求执行CheckPoint。
（3）NameNode滚动正在写的Edits日志。
（4）将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。
（5）Secondary NameNode加载编辑日志和镜像文件到内存，并合并。
（6）生成新的镜像文件fsimage.chkpoint。
（7）拷贝fsimage.chkpoint到NameNode。
（8）NameNode将fsimage.chkpoint重新命名成fsimage。

5.2 CheckPoint时间设置

（1）通常情况下，SecondaryNameNode每隔一小时执行一次。
[hdfs-default.xml]

<property>
  <name>dfs.namenode.checkpoint.period</name>
  <value>3600</value>
</property>

（2）一分钟检查一次操作次数，3当操作次数达到1百万时，SecondaryNameNode执行一次。

<property>
  <name>dfs.namenode.checkpoint.txns</name>
  <value>1000000</value>
<description>操作动作次数</description>
</property>

<property>
  <name>dfs.namenode.checkpoint.check.period</name>
  <value>60</value>
<description> 1分钟检查一次操作次数</description>
</property >

5.3 NameNode故障处理

NameNode故障后，可以采用如下两种方法恢复数据。

方法一：将SecondaryNameNode中数据拷贝到NameNode存储数据的目录；

1. kill -9 NameNode进程

2. 删除NameNode存储的数据（/opt/module/hadoop-2.7.2/data/tmp/dfs/name）

[root@hadoop102 hadoop-2.7.2]$ rm -rf /opt/module/hadoop-2.7.2/data/tmp/dfs/name/*

3. 拷贝SecondaryNameNode中数据到原NameNode存储数据目录

[root@hadoop102 dfs]$ scp -r atguigu@hadoop104:/opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary/* ./name/

4. 重新启动NameNode

[root@hadoop102 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode

方法二：使用-importCheckpoint选项启动NameNode守护进程，从而将SecondaryNameNode中数据拷贝到NameNode目录中。

1.修改hdfs-site.xml中的

<property>
  <name>dfs.namenode.checkpoint.period</name>
  <value>120</value>
</property>

<property>
  <name>dfs.namenode.name.dir</name>
  <value>/opt/module/hadoop-2.7.2/data/tmp/dfs/name</value>
</property>

2. kill -9 NameNode进程

3. 删除NameNode存储的数据（/opt/module/hadoop-2.7.2/data/tmp/dfs/name）

[root@hadoop102 hadoop-2.7.2]$ rm -rf /opt/module/hadoop-2.7.2/data/tmp/dfs/name/*

4. 如果SecondaryNameNode不和NameNode在一个主机节点上，需要将SecondaryNameNode存储数据的目录拷贝到NameNode存储数据的平级目录，并删除in_use.lock文件

[root@hadoop102 dfs]$ scp -r atguigu@hadoop104:/opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary ./

[root@hadoop102 namesecondary]$ rm -rf in_use.lock

[root@hadoop102 dfs]$ pwd
/opt/module/hadoop-2.7.2/data/tmp/dfs

[root@hadoop102 dfs]$ ls
data  name  namesecondary

5. 导入检查点数据（等待一会ctrl+c结束掉）

[root@hadoop102 hadoop-2.7.2]$ bin/hdfs namenode -importCheckpoint

6. 启动NameNode

[root@hadoop102 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode

5.4 NameNode多目录配置

1. NameNode的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性
2. 具体配置如下
   （1）在hdfs-site.xml文件中增加如下内容

<property>
    <name>dfs.namenode.name.dir</name>
<value>file:///${hadoop.tmp.dir}/dfs/name1,file:///${hadoop.tmp.dir}/dfs/name2</value>
</property>

（2）停止集群，删除data和logs中所有数据。

[root@hadoop102 hadoop-2.7.2]$ rm -rf data/ logs/
[root@hadoop103 hadoop-2.7.2]$ rm -rf data/ logs/
[root@hadoop104 hadoop-2.7.2]$ rm -rf data/ logs/

（3）格式化集群并启动。

[root@hadoop102 hadoop-2.7.2]$ bin/hdfs namenode –format
[root@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh

（4）查看结果

[root@hadoop102 dfs]$ ll
总用量 12
drwx------. 3 atguigu atguigu 4096 12月 11 08:03 data
drwxrwxr-x. 3 atguigu atguigu 4096 12月 11 08:03 name1
drwxrwxr-x. 3 atguigu atguigu 4096 12月 11 08:03 name2

六、DataNode

6.1DataNode工作机制

1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。
2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。
3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。
4）集群运行中可以安全加入和退出一些机器。

6.2 数据完整性

DataNode节点保证数据完整性的方法。
1）当DataNode读取Block的时候，它会计算CheckSum。
2）如果计算后的CheckSum，与Block创建时值不一样，说明Block已经损坏。
3）Client读取其他DataNode上的Block。
4）DataNode在其文件创建后周期验证CheckSum，

6.3 掉线时限参数设置

需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒，dfs.heartbeat.interval的单位为秒。

<property>
    <name>dfs.namenode.heartbeat.recheck-interval</name>
    <value>300000</value>
</property>
<property>
    <name>dfs.heartbeat.interval</name>
    <value>3</value>
</property>

6.4 DataNode多目录配置

1. DataNode也可以配置成多个目录，每个目录存储的数据不一样。即：数据不是副本
   2．具体配置如下
   hdfs-site.xml

<property>
        <name>dfs.datanode.data.dir</name>
<value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2</value>
</property>