1、Hadoop学习笔记
一、如何安装配置apache的一个开源hadoop集群
使用root账户登录
修改IP
修改host主机名
配置SSH免密码登录
关闭防火墙
安装JDK并配置jdk环境变量
解压hadoop安装包
配置hadoop的核心文件
hadoop-env.sh,core-site.xml , mapred-site.xml , hdfs-site.xml ,yarn-site.xml ,slaves
配置hadoop环境变量
格式化 hadoop namenode-format
启动节点start-dfs.sh,start-yarn.sh
二、HDFS存储机制
HDFS(Hadoop Distributed File System)是GFS的开源实现。
特点如下:
能够运行在廉价机器上,硬件出错常态,需要具备高容错性
流式数据访问,而不是随机读写
面向大规模数据集,能够进行批处理、能够横向扩展
简单一致性模型,假定文件是一次写入、多次读取
缺点:
不支持低延迟数据访问
不适合大量小文件存储(因为每条元数据占用空间是一定的)
不支持并发写入,一个文件只能有一个写入者
不支持文件随机修改,仅支持追加写入
HDFS中的block、packet、chunk
要把读写过程细节搞明白前,你必须知道block、packet与chunk。下面分别讲述。
block
这个大家应该知道,文件上传前需要分块,这个块就是block,一般为128MB,当然你可以去改,不顾不推荐。因为块太小:寻址时间占比过高。块太大:Map任务数太少,作业执行速度变慢。它是最大的一个单位。
packet
packet是第二大的单位,它是client端向DataNode,或DataNode的PipLine之间传数据的基本单位,默认64KB。
chunk
chunk是最小的单位,它是client向DataNode,或DataNode的PipLine之间进行数据校验的基本单位,默认512Byte,因为用作校验,故每个chunk需要带有4Byte的校验位。所以实际每个chunk写入packet的大小为516Byte。由此可见真实数据与校验值数据的比值约为128 : 1。(即64*1024 / 512)
例如,在client端向DataNode传数据的时候,HDFSOutputStream会有一个chunk buff,写满一个chunk后,会计算校验和并写入当前的chunk。之后再把带有校验和的chunk写入packet,当一个packet写满后,packet会进入dataQueue队列,其他的DataNode就是从这个dataQueue获取client端上传的数据并存储的。同时一个DataNode成功存储一个packet后之后会返回一个ack packet,放入ack Queue中。
写流程(详细步骤)
客户端向NameNode发出写文件请求。
检查是否已存在文件、检查权限。若通过检查,直接先将操作写入EditLog,并返回输出流对象。
注:WAL,write ahead log,先写Log,再写内存,因为EditLog记录的是最新的
HDFS客户端执行所有的写操作。如果后续真实写操作失败了,由于在真实写操作之前,操
作就被写入EditLog中了,故EditLog中仍会有记录,我们不用担心后续client读不到相
应的数据块,因为在第5步中DataNode收到块后会有一返回确认信息,若没写成功,发送
端没收到确认信息,会一直重试,直到成功。
client端按128MB的块切分文件。
client将NameNode返回的分配的可写的DataNode列表和Data数据一同发送给最近的第一个DataNode节点,此后client端和NameNode分配的多个DataNode构成pipeline管道,client端向输出流对象中写数据。client每向第一个DataNode写入一个packet,这个packet便会直接在pipeline里传给第二个、第三个…DataNode。
注:并不是写好一个块或一整个文件后才向后分发
每个DataNode写完一个块后,会返回确认信息。
注:并不是每写完一个packet后就返回确认信息,packet中的每个chunk都携带校验信息,没必要每写一个就汇报一下,这样效率太慢。正确的做法是写完一个block块后,对校验信息进行汇总分析,就能得出是否有块写错的情况发生
写完数据,关闭输出流
发送完成信号给NameNode。
注:发送完成信号的时机取决于集群是强一致性还是最终一致性,强一致性则需要所有DataNode写完后才向NameNode汇报。最终一致性则其中任意一个DataNode写完后就能单独向NameNode汇报,HDFS一般情况下都是强调强一致性
原文链接:https://blog.csdn.net/m0_37746551/article/details/87806340