1.概述:
有些时候文件过大,需要将文件切分成不同的小部分放在不同的主机上。HDFS的作用就是整合这些小的切片,当客户端需要访问时,将所有内容整合起来返回给客户端。
2.架构
HDFS主要有4部分,HDFS Client,NameNode,Secondary NameNode,DataNode
HDFS Client:客户端,负责将文件切片,获取文件位置,读写数据,管理HDFS
NameNode:管理Hdfs的名称空间,管理数据块的映射信息,配置副本策略,处理客户端读写请求
Secondary NameNode:辅助NameNode,当NameNode瘫痪时不能立即取代NameNode
DataNode:存储数据块,执行读写请求
3.HDFS基础命令
ls:列出目录下的文件列表
ls -R:递归执行ls命令,效果为显示当前目录的所有子目录
mkdir :创建目录 参数-p可以递归创建目录
put:将本低文件夹拷贝到目标文件系统中
moveFromLocal:与put功能类似,上传到目标系统后,本地文件被删除,类似于一个剪切粘贴的功能
get:将目标文件拷贝到本地
mv:将hdfs上的文件从原路径移动到目标路径,移动后文件删除,注意不能在本低文件系统和hdfs文件系统之间移动
rm:删除文件或者目录(参数 r代表删除目录 不加参数代表删除文件)
cp:拷贝(参数f为如果目标文件存在则覆盖,p为深度拷贝,不仅拷贝内容,还要拷贝一些属性)
cat:将文件内容输出
chmod:修改文件权限(777代表的意思是所有权限都打开,-R代表所有子目录都赋有这个权限)
添加用户,修改密码
chown:修改文件的用户和用户组