hdfs命令总结

一、说在前面

本随笔将hdfs的命令进行了总结。执行以下命令需要在hadoop安装目录下的bin目录中执行，为了方便起见将hadoop的bin目录配置到环境变量中。

二、总结

-help：显示帮助信息

hadoop fs -help rm

-ls：显示目录信息

hadoop fs -ls /

-mkdir：在HDFS上创建目录

hadoop fs -mkdir -p /user/ysir

-moveFromLocal：从本地剪切粘贴到HDFS

hadoop fs -moveFromLocal ~/test.txt /home/ysir/

-appendToFile：追加一个文件到已经存在的文件末尾

hadoop fs -appendToFile /a.txt /b.txt

-cat：显示文件内容

hadoop fs -cat /user/ysir/a.txt

-chmod、-chown：修改文件权限、所有者

hadoop fs -chmod 777 /a.txt
hadoop fs -chown admin:ysir /a.txt

-copyFromLocal：从本地文件系统中拷贝文件到HDFS中

hadoop fs -copyFromLocal a.txt /

-copyToLocal：从HDFS拷贝到本地

hadoop fs -copyToLocal /a.txt ~/

-cp：在HDFS中拷贝文件

hadoop fs -cp /aaa/a.txt /bbb/

-mv：在HDFS目录中移动文件

hadoop fs -mv /aaa/a.txt /bbb/ 

-get：从HDFS中拷贝到本地，等同于copyToLocal

hadoop fs -get /aaa/a.txt

-getmerge：合并下载多个文件

hadoop fs -getmerge /logs/* ~/logs.log # 将HDFS上/logs/路径下的所有文件合并下载到本地~/logs.log文件中

-put：将本地文件上传到HDFS，等同于copyFromLocal

hadoop fs -put ~/a.txt /

-tail：显示文件末尾的内容 

hadoop fs -tail /a.txt

-rm：删除文件夹或者文件

hadoop fs -rm /user/ysir/a.txt

-rmdir：删除空目录

hadoop fs -mkdir /temp

-du：统计文件夹的大小信息

hadoop fs -du -s -h /temp

-setrep：设置HDFS文件中的副本数量

hadoop fs -setrep 5 /a.txt