Hadoop HDFS shell

一、格式

1、父类

bin/hadoop fs 命令

2、子类

bin/hdfs dfs 命令

二、命令

1、help

作用：获取帮助文档
格式：hadoop fs -help 命令名称

2、ls

作用：查看HDFS路径的文件
格式：
hadoop fs -ls 路径
hadoop fs -ls -R 路径

3、mkdir

作用：HDFS创建目录
格式：hadoop fs -mkdir -p /usr/wt

4、moveFromLocal

作用：从local移动到HDFS
格式：hadoop fs -moveFromLocal 本地文件 HDFS路径

5、appendToFile

作用：本地文件的内容，追加到HDFS文件
格式：hadoop fs -appendToFile 本地文件 HDFS已存文件

6、cat

作用：打开HDFS文件
格式：hadoop fs -cat HDFS文件

7、chgrp chown chmod

作用：修改HDFS文件 所有组/ 所有者所有组/ 权限
格式：haddop fs -chgrp 所有组名称 HDFS文件

8、copyFromLocal

作用：把本地文件，复制到HDFS
格式：hadoop fs -copyFromLocal 本地文件 HDFS路径

9、copyToLocal

作用：HDFS文件 复制 到本地
格式：hadoop fs -copyToLocal HDFS文件路径 本地路径

10、cp

作用：HDFS之间，复制文件
格式：hadoop fs -cp HDFS文件路径 HDSF路径

11、mv

作用：HDFS之间，移动文件
格式：hadoop fs -mv HDFS文件路径 HDFS路径 

12、get

作用：相当于 copyToLoacl，HDFS文件 -> Local
格式：hadoop fs -get HDFS文件路径 本地路径

13、getmerge

作用：将HDFS的文件 批量下载到 local
格式：hadoop fs -getmerge /usr/wt/*   ./abc.txt
                                    Hadoop文件  本地文件 abc.txt为 重写起名的文件  

14、put

作用：相当于 copyFromLocal，从 本地 -> HDFS
格式：hadoop fs -put 本地文件 HDFS路径

15、tail

作用：查看HDFS的日志
格式：haddop fs -tail -f HDFS日志文件路径

16、rm

作用：删除HDFS文件
格式：hadoop fs -rm HDFS文件路径

17、rmdir 删除空目录，一般不用

18、du

作用：统计HDFS文件夹内，文件大小
格式：hadoop fs -du HDFS路径
注意：-h 有单位，方便读，-s 该文件夹所有文件之和

设置副本数量

19、setrep

作用：设置副本数量
格式：hadoop fs -setrep 副本数量 HDFS文件路径