网易大数据之数据存储：HDFS

一、HDFS基础架构

1、HDFS特点：水平扩展、高容错性、廉价硬件、开源生态系统

2、Hadoop生态圈

1）、分布式存储系统（HDFS），2）、资源管理框架（YARN），3）、批处理框架（MapReduce、Pig），4）、数据仓库（Hive），5）、NoSQL系统（HBase、Drill），6）、OLAP系统（Impala、Presto、Spark(SQL)），7）、实时流计算框架（Storm、Spark(Streaming)、Flink），8）、机器学习框架（Mahout、Spark(MLlib)），9）、消息队列（Kafka），10）、分布式协同服务（Zookeeper），11）、作业调度系统（Oozie），12）、全文检索系统Solr

3、HDFS架构

相关概念：Rack 机架：存储节点放在不同机架上，这与数据备份放置策略有关

　　　　　Block 数据块：数据切分成特定大小的数据块，分发到不同存储节点

　　　　　Replication 副本：数据块在不同存储节点之间，通过复制方式来拷贝

1）、NameNode（管理节点）：负责名称空间管理，管理元数据；负责文件到数据块的映射，以及数据块和存储节点对应关系

2）、DataNode（数据存储节点）：向管理节点汇报数据块信息；存储节点之间通过复制操作来实现数据均衡和备份；与客户端交互，执行数据读写请求

3）、Client（客户端）：向NN/DN发起读写请求

4、HDFS读写

1）、HDFS Read

　　a、客户端向NN发起读请求

　　b、NN返回请求文件的数据块所在的存储节点列表，如果有多个块，会返回多个存储列表，因为一个数据块对应一个存储节点

　　c、客户端根据返回的节点列表，优先选择最近的节点访问

　　d、选完节点后，客户端直接与DN节点连接读取相应的Block数据，读完这个Block后关闭连接

　　e、如果文件有多个数据块，客户端再次选择下一个Block所在节点，进行连接，重复上述过程

 　　f、已经读完最后一个数据块后，关闭与NN连接

2）、HDFS Write

　　a、客户端向NN发起写请求

　　b、NN返回需要写入文件的数据块所在的存储节点列表

　　c、客户端根据返回的节点列表，优先选择最近的节点创建链接；如果该客户端在DN节点上，则优先写本地节点

　　d、客户端与第一个DN节点建立TCP链接，然后该DN节点会根据客户端传递过来的节点信息，依次创建下一个DN节点的链接。以及第二个DN节点到第三个DN节点的链接。这个过程称为创建DataNode管道

　　e、客户端先写第一个数据包，待第一个节点收到该数据包后，由其向下一个节点发送这个数据包，直至到第三个节点

　　f、在最后一个节点完成数据包的接收后，向第二个节点发送确认信息；第二个节点收到确认信息后，将自己的确认信息发送给第一个节点，然后第一个节点将确认信息发送给客户端。客户端收到这个数据包的确认信息后，才会发送下一个数据包，如此反复

　　g、当第一个数据块写完后，客户端关闭这个DataNode管道。如果还有数据块，则创建一个新的数据管道开始写入数据

　　h、数据写完后，客户端关闭

5、副本放置策略　　下图，n1234 ode为节点即服务器，r123 ack为机架，d12data center为数据中心；黄块为数据块；蓝块为客户端；

d=0246为客户端到存储块节点距离，local为d=0，同rack为d=2，同数据中不同rack为d=4，不同数据中心为d=6

定义节点访问距离，可以降低网络访问流量开销，提高访问性能

　　NN来选择数据块的放置节点，它按照机架配置来选择节点。如果是3副本放置策略，优先放入到离写入客户端最近的DN节点；然后是该节点同机架上的一个节点；最后是与该节点不在同一机架上的节点。

　　选择节点辅助策略：随机选择一个节点，随机选择两次，返回磁盘使用率较低的一个节点

二、部署配置

1、部署安装

一般参数列表

　　fs.defaultFS　　　　　　　　　　HDFS的名称空间地址

　　dfs.blocksize　　　　　　　　　  块大小，默认是64M或128M，文件存储的时候，如果大于指定块大小，则切分，如果小于，则按照文件大小存储，并不会占用指定块大小

　　dfs.replication　　　　　　　　　备份数，默认为3

　　dfs.reservedsize　　　　　　　　磁盘保留空间，默认未开启

　　dfs.namenode.edit.dir　　　　　  NN的edit日志存放路径，edit日志文件编号前后连接，如果中间有断链，那么说明文件缺失

　　dfs.namenode.name.dir　　　　   NN的image文件（元数据）存放路径

　　dfs.datanode.data.dir　　　　　   DN的数据存储目录，可以选择存储在多个目录下，多个目录用逗号隔开

　　dfs.namenode.rpc-address　　　 NN的RPC服务端口号

　　dfs.namenode.http-address　　　NN的HTTP服务端口号

　　dfs.datanode.address　　　　　  DN的RPC服务端口号，数据传输用

　　dfs.datanode.http.address　　　  DN的HTTP服务端口号

　　dfs.datanode.ipc.address　　　　DN的IPC端口号，与NN通信

　　fs.trash.interval　　　　　　　　  开起回收站，如果通过hdfs的shell命令删除的数据会放到回收站，回收站默认清除时间为1小时，也可以自定义

 2、部署实操

1）、配置javahome环境变量、可以使用scp命令（需要安装SSH）上传Hadoop软件包

2）、使用tar -zxvf命令解压hadoop软件包；使用ln命令创建软连接，如ln -s hadoop-2.7.7 hadoop-current

3）、配置Hadoop Home环境变量

　　a、cd ~

　　b、vi .bashrc　　配置文件写入如下图

　　c、source .bashrc

　　d、hadoop命令查看配置是否正确，如下图

4）、如果没有配置全局Javahome环境变量，可以在Hadoop配置文件/root/dev/hadoop-2.7.7/etc/hadoop/hadoop-env.sh中配置，此文件也可以配置HadoopJVM相关参数

 此处默认取环境变量JAVA_HOME

5）、配置HDFS的核心配置文件core-site.xml（/root/dev/hadoop-current/etc/hadoop/core-site.xml），NN、DN和YARN都会加载这个文件， vi core-site.xml 配置fs.defaultFS指向NN地址，其他用默认值（注意下面地址不能用localhost，否则只有本机才能访问）

6）、配置hdfs-site.xml　　vi hdfs-site.xml 

 

7）、格式化HDFS命令　　hdfs namenode -format

原本dev文件夹下没有hadoopnamedir，执行完命令后就有了

8）、启动namenode服务　　hdfs namenode

（一般端口会被防火墙限制，关闭或者放开端口，参考···········）

启动服务后就可以通过WebUI访问namenode了，地址：http://192.168.1.6:50070

9）、启动datanode服务　　hdfs datanode

原本dev文件夹下没有hadoopdata/data/0，hadoopdata/data/1，hadoopdata/data/2，启动服务后就有了（教程中使用 mkdir -p hadoopdata/data/{0..2}命令创建，Hadoop有权限创建情况下会自动创建，否则要自己创建）

在namenode的WebUI下就可以看到启动的datanode了

10）、启动另一个节点的datanode，方式类似以上

 　　a、解压Hadoop，创建软连接

 　　b、从上一个节点拷贝core-site.xml到本机　　先切换到Hadoop配置文件目录，后（注意命令最后的点，拷贝到当前文件夹，$PWD表示本机的Hadoop配置文件目录和上一个节点Hadoop配置文件目录一样）scp root@192.168.1.6:$PWD/core-site.xml . 　　同样的方式再拷贝hdfs-site.xml（教程中拷贝了hadoop-env.xml，由于我本地配置了javahome，所以就不用拷贝了）

　　c、由于我们使用上一个节点的namenode，所以我们只修改本机Hadoop配置文件hdfs-site.xml中datanode相关配置

 改为

　　d、由于本机没有配置HadoopHome环境变量，所以使用带路径方式或到bin下使用hdfs datanode命令启动datanode服务

　　哎呀，不好，报错了，此错是由于解析hostname出错，因为配置中使用的是IP

　　

　　两种解决办法；第一种、使用hostname，在hosts文件中做好映射（没测）

　　　　　　第二种、在hdfs-site.xml中添加配置如下　（namenode和datanode都配置）　　　　　　　

　　　　　　<property>
　　　　　　　　<name>dfs.namenode.datanode.registration.ip-hostname-check</name>
　　　　　　　　<value>false</value>
　　　　　　</property>

　　添加了配置后，重新启动datanode服务，刷新namenode节点对应的WebUI，看到datanode节点数为2

　

如果其中一个DataNode宕机，namenode要等很久才知道，如果查询或获取数据，正好访问宕机节点，要达到最大尝试次数

注意，如果出现类似异常java.io.IOException: Incompatible clusterIDs、java.io.IOException: All specified directories are failed to load需要将datanode存放数据的目录删掉，使用命令如 rm -rf hadoopdata

 11）、测试hadoop fs命令

　　查看根目录命令：hadoop fs -ls /

　　创建文件夹命令：hadoop fs -mkdir /tmp　　hadoop fs -mkdir -p /user/hjp　　hadoop fs -mkdir /user/hjp/input

　　上传txt格式文件：hadoop fs -put *.txt /user/hjp/input

　　删除指定文件：hadoop fs -rm /user/hjp/input/1.txt

　　查看文件内容命令：hadoop fs -text /user/hjp/input/1.txt

　　下载文件到本地并重命名：hadoop fs -get /user/hjp/input/1.txt 123.txt　　（比较两个文件内容是否一样，可以使用md5sum命令获取md5值对比，如下图）

 

12）、守护进程启动datanode服务：dev/hadoop-current/sbin/hadoop-daemon.sh start datanode，其他DataNode和NameNode也类似此守护进程方式启动

使用tail -f命令查看日志信息：tail -f /root/dev/hadoop-2.7.7/logs/hadoop-root-datanode-192.168.1.8.log

13）、YARN部署（master上启动resourcemanager服务，slaves上启动nodemanager服务）

　　a、YARN共用Hadoop的core-site.xml和hdfs-site.xml，只需配置YARN的yarn-site.xml和mapred-site即可

　　yarn-site.xml配置如下

<configuration>

　　<!-- Site specific YARN configuration properties -->

　　<!--RM WebUI地址-->
　　<property>
　　　　<name>yarn.resourcemanager.webapp.address</name>
　　　　<value>192.168.1.6:8088</value>
　　</property>

　　<!--RM域名-->
　　<property>
　　　　<name>yarn.resourcemanager.hostname</name>
　　　　<value>192.168.1.6</value>
　　</property>

　　<!--NM logs存放作业的日志输出-->
　　<property>
　　　　<name>yarn.nodemanager.log-dirs</name>
　　　　<value>/root/dev/yarn/0/logs,/root/dev/yarn/1/logs,/root/dev/yarn/2/logs</value>
　　</property>

　　<!--NM工作目录-->
　　<property>
　　　　<name>yarn.nodemanager.local-dirs</name>
　　　　<value>/root/dev/yarn/0/local,/root/dev/yarn/1/local,/root/dev/yarn/2/local</value>
　　</property>

　　<property>
　　　　<name>yarn.nodemanager.aux-services</name>
　　　　<value>mapreduce_shuffle</value>
　　</property>

</configuration>

　　mapred-site.xml配置如下（Hadoop配置目录下没有mapred-site.xml，而又mapred-site.xml.template。配置目录下使用cp mapred-site.xml.template mapred-site.xml命令复制一下）：

<configuration>

　　<!--MR的资源调度框架-->
　　<property>
　　　　<name>mapreduce.framework.name</name>
　　　　<value>yarn</value>
　　</property>

　　<!--作业历史RPC地址-->
　　<property>
　　　　<name>mapreduce.jobhistory.address</name>
　　　　<value>192.168.1.6:10020</value>
　　</property>

　　<!--MR作业历史WebUI-->
　　<property>
　　　　<name>mapreduce.jobhistory.webapp.address</name>
　　　　<value>192.168.1.6:19888</value>
　　</property>
</configuration>

　　b、如果没有权限创建yarn日志输出和工作目录文件夹权限，就使用mkdir -p /root/dev/yarn/{0..2}/local和mkdir -p /root/dev/yarn/{0..2}/logs命令创建对应文件夹；如果当前用户有权限，Hadoop会自动创建；下面其他节点启动nodemanager服务也是如此

　　c、启动yarn resourcemanager，直接使用命令yarn resourcemanager，启动成功后，看到WebUI端口为8088

　　d、在其他节点Hadoop配置文件目录下，使用scp root@192.168.1.6:$PWD/yarn-site.xml .　和scp root@192.168.1.6:$PWD/yarn-site.xml .   命令拷贝yarn-site.xml和mapred-site.xml文件到其他节点。无需改动配置

　　e、其他节点因为没有配置Hadoop环境变量，到bin目录下启动nodemanager服务： bin/yarn nodemanager

　　f、到ResourceManager WebUI上查看nodes，1.6为ResourceManager，1.7和1.8为NodeManager，如下图（我本机配置没有这样高，下面的配置数据估计是来自配置文件）

注意：如果本地没有配置hosts，那么yarn的node节点需要在yarn-site.xml配置文件中配置yarn.nodemanager.address，对应本节点的IP，IP后面的0表示端口号随机分配。resourcemanager节点不需要配置。nodemanager中yarn-site.xml添加配置如下，可参考······

　　教程中会看到老师的ResourceManager WebUI下对应NodeManager RPC或Http地址如下，使用的是主机名

　　g、在Hadoop home文件下可以通过命令hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar，获取example Jar包命令参数解释，如下

　　h、使用example Jar包的pi命令测试yarn 和 mapreduce：在resourcemanager节点上的Hadoop home文件夹下输入命令 hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar pi 5 10　　哎呀报错了，如下，需要设置resourcemanager和nodemanager节点时间一致，方法参考··············

　　修改好再次执行就OK了

　　i、再写一个获取文件字数的命令： hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /user/hjp/input /user/hjp/output

　　在ResourceManager上查看历史任务，如下

　　点击上面ID列中一个，进入下面界面，点击History，无法访问网页，说明MapReduce JobHistory服务还没有启动；ResourceManager节点上命令mapred historyserver启动

启动historyserver后----》

　　j、守护进程启动resourcemanager服务和nodemanager服务：dev/hadoop-current/sbin/yarn-daemon.sh start resourcemanager和dev/hadoop-current/sbin/yarn-daemon.sh start nodemanager；守护进程启动historyserver：dev/hadoop-current/sbin/mr-jobhistory-daemon.sh start historyserver

 三、HDFS管理与使用

注意要配置hdfs-site.xml打开ACL权限控制，默认不打开

<property>
<name>dfs.namenode.acls.enabled</name>
<value>true</value>
</property>

1、HDFS默认使用POSIX风格的权限管理方式，权限分为用户、用户组、其他等角色。使用方式类似Linux系统修改权限。

如hadoop fs -chmod <PERM> <PATH> 修改文件权限；hadoop fs -chown <USER:GROUP> <PATH>修改文件所属用户、用户组

　例，改变用户目录所属用户组：haddop fs -chown :groupa /user/hjp/foo　　或　　hadoop fs -chgrp groupa /user/hjp/foo

2、ACL权限变更，修改ACL权限后立即生效，无需刷新用户用户组

1）、普通文件的权限，会延续到此文件下子文件，所以使用ACL来细粒度控制权限，HDFS提供了类似POSIX ACL特性

2）、一条ACL规则由若干ACL条目组成，每个条目指定一个用户或用户组的权限位。ACL条目由类型名，可选名称和权限字符串组成，以英文冒号为分隔符

3）、目录或文件的ACL规则示例如下（逗号分隔，第一个表示类型名，第二个表示可选名，第三个是权限位），当设置了ACL规则后，hdfs目录或文件权限位后面会多一个加号（+）：

　　user::rw-　　　　　　所属用户，读写权限；类型名表示设置的是用户权限，可选名省略表示目录或文件所属的用户

　　user:bruce:rwx　　　 bruce用户，读写可执行权限；类型名表示设置的是用户权限，可选名是bruce用户，但是写了可选名，就要经过下面mask的过滤，最终该用户对目录或文件是读权限

　　group::r-x　　　　　  所属用户组可读可执行权限；类型名表示设置的是用户组权限，可选名省略表示目录或文件所属的用户组，但是类型名为用户组的要经过下面的mask过滤，最终目录或文件所属用户组是读权限

　　group:sales:rwx　　　sales用户组，读写可执行权限；类型名表示设置的是用户组权限，可选名是sales用户组，但是类型名为用户组的要经过下面的mask过滤，最终目录或文件对sales用户是读权限

　　mask::r--　　　　　　对group条目和指定用户的user条目起作用，进行过滤

　　other::r--　　　　　　其他用户，即非目录或文件所属用户及用户组，读权限；

　　default:上面权限设置形式；default只应用于目录上，权限会被子目录及文件所继承，所以慎用

　　具体示例如下：

3、 配额管理

4、数据均衡

5、滚动升级（可以不用停服）

1）、NN升级，注意下面的NN1表示当前使用的NN节点，NN2表示备用的NN节点；当前使用的NN节点简称ANN（ActiveNameNode），备用的NN节点简称SNN（StandbyNameNode）

2）、DN升级，注意rollingUpgrade finalize命令会删除NN和DN备份的数据，所以在确保升级成功后再执行该命令

6、版本回滚（要停服）

7、其他

四、高级内容

1、HDFS高可用