概述：
文件系统（FS）Shell包括各种类-Shell的命令。直接和Hadoop分布式文件系统（HDFS）交互，也支持对其它文件系统的支持。比如：本地文件系统FS，HFTP FS，S3 FS，和其它。FS Shell的调用：
bin/hadoop fs <args>
全部的FS shell命令都要带URI路径作为參数，URI的格式是：scheme://authority/path。假设是HDFS，则scheme是hdfs，假设是本地文件系统。则scheme是file。
scheme和authorty是可选的。假设没有指定，默认的scheme是在配置文件里指定的。一个HDFS文件或文件夹如：/parent/child用HDFS表示，则是：hdfs://parent/child或者简单的写成/parent/child（可是前提条件是你配置文件指向的是hdfs://namenodehost）。
大多数的FS shell命令，事实上和linux是相应的。不同之处每一个命令都有详细的描写叙述，错误信息会通过错误输出stderr。其它信息通过stdout输出。
假设使用hdfs，那么hdfs dfs和hadoop fs是类似的。
appendToFile
使用: hadoop fs -appendToFile <localsrc> ... <dst>
将一个本地文件系统的源文件或多个源文件追加到目标文件系统。也能够读取标准输入的数据。追加到目标文件系统。
hadoop fs -appendToFile localfile /user/hadoop/hadoopfile 将本地文件localfile追加到目标文件系统/user/hadoop/hadoopfile
hadoop fs -appendToFile localfile1 localfile2 /user/hadoop/hadoopfile 将本地文件localfile1和2追加到目标文件系统/user/hadoop/hadoopfile
hadoop fs -appendToFile localfile hdfs://nn.example.com/hadoop/hadoopfile 将本地文件localfile追加到指定目标文件系统的/user/hadoop/hadoopfile
hadoop fs -appendToFile - hdfs://nn.example.com/hadoop/hadoopfile 从标准输入读取数据
返回值:
返回0则成功。1则失败。
cat
使用: hadoop fs -cat URI [URI ...]
将指定URI的内容用标准输出stdout输出。
样例:
hadoop fs -cat hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2 hadoop fs -cat file:///file3 /user/hadoop/file4
返回值:
返回0则成功。1则失败。
checksum
使用: hadoop fs -checksum URI [URI ...]返回文件的校验和信息。
样例:
[root@nn1 bin]# hadoop fs -checksum file:///usr/apache/hadoop-2.4.1/bin/1.txt file:///usr/apache/hadoop-2.4.1/bin/2.txt file:///usr/apache/hadoop-2.4.1/bin/1.txt NONE file:///usr/apache/hadoop-2.4.1/bin/2.txt NONE [root@nn1 bin]# hadoop fs -checksum hdfs://10.0.1.78:8020/test1 /apps/hive/install/hive-exec-0.13.1.jar hdfs://10.0.1.78:8020/test1 MD5-of-0MD5-of-512CRC32C 0000020000000000000000008f708c9e4a4ec19d554a96c72b655932 /apps/hive/install/hive-exec-0.13.1.jar MD5-of-0MD5-of-512CRC32C 00000200000000000000000060814965c82060d526756df03bf81383
chgrp
使用: hadoop fs -chgrp [-R] GROUP URI [URI ...]
改变文件组，这个用户必须是文件的拥有者，或者是超级管理员。
參数
- -R 假设文件是文件夹的话，命令将会递归生效。
跟非常多Linux的命令类似。
chmod
使用: hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]
改变文件的的权限，这个用户必须是文件的拥有者，或者是超级管理员。
參数
- -R 假设文件是文件夹的话，命令将会递归生效。
跟非常多Linux的命令类似。
chown
使用: hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]
改变文件的拥有者. 这个游湖
Options
- -R 假设文件是文件夹的话，命令将会递归生效。跟非常多Linux的命令类似。
copyFromLocal
使用: hadoop fs -copyFromLocal <localsrc> URI
从本地文件系统考本到集群上，出了资源文件必须是本地文件之外，和put命令类似。
參数：
- -f 假设文件存在，则覆盖。
[root@nn1 bin]# cat 1.txt 1111 [root@nn1 bin]# cat 2.txt 22222222 [root@nn1 bin]# hadoop fs -copyFromLocal 1.txt /fish/1.txt //将本地文件复制到HDFS的文件/fish/1.txt [root@nn1 bin]# hadoop fs -cat /fish/1.txt //查看 1111 [root@nn1 bin]# hadoop fs -copyFromLocal -f 2.txt /fish/1.txt //加-f參数覆盖HDFS的文件/fish/1.txt [root@nn1 bin]# hadoop fs -cat /fish/1.txt //查看，是文件2.txt的内容 22222222
copyToLocal
使用: hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>
将集群文件复制到本地文件系统。
除了目标路径仅限于本地文件。和get命令类似。 -ignorecrc 选项复制CRC校验失败的文 件。
使用-crc 选项拷贝文件以及CRC信息。
count
使用: hadoop fs -count [-q] [-h] [-v] <paths>
计算文件夹下文件和文件夹的数量，大小情况。使用-count的输出项有：DIR_COUNT, FILE_COUNT, CONTENT_SIZE, PATHNAME
使用-count -q的输出项有: QUOTA, REMAINING_QUATA, SPACE_QUOTA, REMAINING_SPACE_QUOTA, DIR_COUNT, FILE_COUNT, CONTENT_SIZE, PATHNAME
-h option shows sizes in human readable format.
-v 多显示一个标题行（hadoop-2.4.1没有參数）
[root@nn1 bin]# hadoop fs -count -h -count: Illegal option -h Usage: hadoop fs [generic options] -count [-q] <path> ...样例:
- hadoop fs -count hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2
- hadoop fs -count -q hdfs://nn1.example.com/file1
- hadoop fs -count -q -h hdfs://nn1.example.com/file1
- hdfs dfs -count -q -h -v hdfs://nn1.example.com/file1
返回值:
返回0则成功，-1则失败。
cp
使用: hadoop fs -cp [-f] [-p | -p[topax]] URI [URI ...] <dest>
从源文件复制到目标文件，这个命令同意多个源。目标路径必须是一个文件夹。
參数:
- -f 假设目标路径已经存在，则覆盖。
- -p 该选择会保留文件的属性[topx] (timestamps（时间戳）, ownership（全部权）, permission（权限）, ACL, XAttr)。
假设-p没有指定參数，那么就保存timestamps（时间戳）, ownership（全部权）, permission（权限）。假设指定了-pa，那么同一时候保留权限信息。由于ACL的等级要比permission（权限）更高级。-p选项决定了是否保留原始的namespace信息。
样例:
//HDFS文件复制到本地文件系统 [root@nn1 bin]# hadoop fs -cp /apps/tez-0.4.1/tez-api-0.4.1-incubating.jar file:///home [root@nn1 bin]# ll /home/ total 748 drwx------ 2 azkaban hadoop 4096 Aug 21 2014 azkaban drwx------. 11 hadoop hadoop 4096 Jul 30 09:48 hadoop drwxr-xr-x 4 root root 4096 Jul 22 12:40 root -rw-r--r-- 1 root root 752262 Aug 7 14:59 tez-api-0.4.1-incubating.jar //HDFS文件复制到HDFS [root@nn1 bin]# hadoop fs -cp /apps/tez-0.4.1/tez-api-0.4.1-incubating.jar /fish/ [root@nn1 bin]# hadoop fs -ls /fish/ Found 4 items -rw-r--r-- 3 root supergroup 894 2015-08-07 12:31 /fish/3.txt -rw-r--r-- 3 fish supergroup 193 2015-04-27 20:35 /fish/multi.txt drwxr-xr-x - hadoop supergroup 0 2015-04-28 10:32 /fish/out -rw-r--r-- 3 root supergroup 752262 2015-08-07 15:00 /fish/tez-api-0.4.1-incubating.jar //本地文件复制到本地文件系统 [root@nn1 bin]# hadoop fs -cp file:///home/tez-api-0.4.1-incubating.jar file:///usr/返回值:
返回0则成功，-1则失败。
df
使用: hadoop fs -df [-h] URI [URI ...]
显示空暇空间
參数：
- -h 用更人性化的方式展示文件的大小（比如，用67108864取代64M）
样例：
[root@nn1 bin]# hadoop fs -df -h /fish Filesystem Size Used Available Use% hdfs://nns 1.3 T 360.5 G 848.8 G 26% //hdfs://nns文件系统，集群中总共同拥有1.3T的空间，使用了360G。能够的还有848.8G，使用了百分之26%
du
使用: hadoop fs -du [-s] [-h] URI [URI ...]
显示文件和文件夹的大小。假设是文件夹则是该文件夹中全部文件的大小，假设是单个文件，则显示该文件的小大
參数：- -s 显示指定文件夹下全部文件总体的大小，而非逐个显示文件或文件夹的大小
- -h 用更人性化的方式展示文件的大小（比如，用67108864取代64M）
样例：
- hadoop fs -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://nn.example.com/user/hadoop/dir1
返回值:返回0则成功，-1则失败。
dus
使用: hadoop fs -dus <args>
显示一个文件长度的摘要.
Note: 该命令已经过期，使用hadoop fs -du -s替代。
expunge
使用: hadoop fs -expunge
清空垃圾箱.
find
（官方文档有，Hadoop2.4.1不存在这个命令）
使用: hadoop fs -find <path> ... <expression> ...
查找全部匹配指定表达式的文件。而且将选定的操作应用于它们。
假设没有路径被指定，那么默认查找当前工作文件夹。假设没有指定表达式， 默认是： -print
样例:hadoop fs -find / -name test -print
返回值:返回0则成功，-1则失败。
get
使用: hadoop fs -get [-ignorecrc] [-crc] <src> <localdst>
复制文件到本地系统，使用通过“-ignorecrc”选项校验失败的文件。使用“-crc”选项，则能够复制文件和CRC信息。
样例:
- hadoop fs -get /user/hadoop/file localfile
- hadoop fs -get hdfs://nn.example.com/user/hadoop/file localfile
getfacl
使用: hadoop fs -getfacl [-R] <path>
展示文件或文件夹的ACL（訪问控制列表）信息。
假设文件夹有默认的ACL，那么也会展示默认的ACL。
參数:
- -R: 递归的获取全部文件和文件夹的ACL
- path: 文件或文件夹列表
样例:
- hadoop fs -getfacl /file
- hadoop fs -getfacl -R /dir
setfacl
使用: hadoop fs -setfacl [-R] [-b |-k -m |-x <acl_spec> <path>] |[--set <acl_spec> <path>]
设置文件和文件夹的控制列表（ACLs）。
參数:
- -b: 删除全部扩展的acl信息。除了主要的acl信息(全部者。群组。其它）将被保留，以保证权限的兼容性；
- -k: 删除默认的ACL
- -R: 对全部文件或文件夹递归的应用这些操作。
- -m: 改动ACL，新的条目增加到ACL，旧的规则会被保留；
- -x: 删除指定的ACL条目。其它ACL条目保留。
- --set: 全然代替如今的ACL规则，替换成新的ACL规则。新的ACL规则中必须包括用户、分组以及其它保证兼容性的权限信息。
- acl_spec: 逗号分隔的ACL列表
- path: 须要改动的文件或文件夹路径。
- hadoop fs -setfacl -m user:hadoop:rw- /file
- hadoop fs -setfacl -x user:hadoop /file
- hadoop fs -setfacl -b /file
- hadoop fs -setfacl -k /dir
- hadoop fs -setfacl --set user::rw-,user:hadoop:rw-,group::r--,other::r-- /file
- hadoop fs -setfacl -R -m user:hadoop:r-x /dir
- hadoop fs -setfacl -m default:user:hadoop:r-x /dir
getfattr
（官方文档有，Hadoop2.4.1不存在这个命令）
使用: hadoop fs -getfattr [-R] -n name | -d [-e en] <path>
显示文件或文件夹的扩展属性的name和value（假设存在的话）。
參数:
- -R: 递归列出文件夹中全部文件和文件夹的属性。
- -n name: 转储指定名称的扩展属性。
- -d: 转储关联路径的全部扩展属性
- -e encoding: 对检索出来的值进行编码。可用的编码方式（encoding）包含text、hex和base64。使用text的话。检索出的值已双引號括起来的字符串形式展现；使用hex或者base64的话，检索出的值分别以0x或者0s打头的编码形式展现。
- path: 文件和文件夹。
样例:
- hadoop fs -getfattr -d /file
- hadoop fs -getfattr -R -n user.myAttr /dir
返回0的成功和非零则错误。
setfattr
（官方文档有。Hadoop2.4.1不存在这个命令）
使用: hadoop fs -setfattr -n name [-v value] | -x name <path>
为文件或者文件夹设置一个扩展属性：name和value。
參数:
- -b: 删除全部扩展的acl信息，主要的acl信息(全部者。群组，其它）将被保留。以保证权限的兼容性。
- -n name: 扩展的属性名称
- -v value: 扩展的属性值. 对于值有三种不同的编码方式。
假设參数是以双引號括起来的。那么这个值是字符串。假设參数是以0x或0X打头的。那么它是16进制的数字。假设參数是以0s或0S打头的。那么它的编码方式是base64。
- -x name: 删除扩展的属性
- path: 文件或者文件夹
样例:
- hadoop fs -setfattr -n user.myAttr -v myValue /file
- hadoop fs -setfattr -n user.noValue /file
- hadoop fs -setfattr -x user.myAttr /file
getmerge
使用: hadoop fs -getmerge <src> <localdst> [addnl]
以一个源文件夹和一个本地目标文件作为输入。而且将源文件夹中全部的文件连接成本地目标文件。addnl是可选的。用于在每一个文件结尾加入一个换行符。
//将HDFS的/fish目录的文件，合并到本地/home/4.txt文件。 hadoop fs -getmerge /fish fish:///home/4.txt
help
使用: hadoop fs -help
返回使用说明
ls
使用: hadoop fs -ls [-d] [-h] [-R] [-t] [-S] [-r] [-u] <args>
參数:
- -d: 像普通文件一样列出来。
- -h: 用更直观的方式显示文件大小 (比如 64.0m 替代 67108864).
- -R: 递归子文件夹列表。
- -t: 按改动时间排序（近期一次排第一）
- -S: 按输出的文件大小排序
- -r: 反向排序
- -u: 使用訪问时间而不是显示和排序的时间。
ls命令会返回一下文件的状态：
permissions（权限） number_of_replicas（副本数量） userid（用户ID） groupid（分组ID） filesize（文件大小） modification_date（改动日期） modification_time（改动时间） filename（文件名称）
对于文件夹。ls会返回文件夹中的第一级内容，显示格式例如以下
permissions（权限） userid（用户ID） groupid（分组ID） modification_date（改动日期） modification_time（改动时间） dirname（文件夹名称）
文件夹中的文件默认以文件名排序
样例:
- hadoop fs -ls /user/hadoop/file1
lsr
使用: hadoop fs -lsr <args>
ls命令的递归版本号
注意: 这个耳鸣了是过期的。能够用hadoop fs -ls -R
mkdir
使用: hadoop fs -mkdir [-p] <paths>
以URI作为路径。创建文件夹。
參数:
- -p 和Linux的mkdir -p类似。假设父路径不存在，会创建父路径。
样例:
[root@nn1 bin]# hadoop fs -mkdir file:///home/a1 file:///home/a2 [root@nn1 bin]# ll /home/ total 20 drwxr-xr-x 2 root root 4096 Aug 8 09:45 a1 drwxr-xr-x 2 root root 4096 Aug 8 09:45 a2 [root@nn1 bin]# hadoop fs -mkdir /home/a1 /home/a2 [root@nn1 bin]# hadoop fs -ls /home/ Found 2 items drwxr-xr-x - root supergroup 0 2015-08-08 09:47 /home/a1 drwxr-xr-x - root supergroup 0 2015-08-08 09:47 /home/a2返回值: 返回0为成功，-1则失败
moveFromLocal
使用: hadoop fs -moveFromLocal <localsrc> <dst>
除了本地路径在被拷贝后会被删除。其它类似于put命令
moveToLocal
使用: hadoop fs -moveToLocal [-crc] <src> <dst>眼下为止还未实现。
mv
使用: hadoop fs -mv URI [URI ...] <dest>
将文件从源路径移动到目标路径(文件和文件夹都能够移动)，这个命令同意多个源，可是目标路径必须是一个文件夹，跨文件系统的移动文件是不同意的。
样例:
- hadoop fs -mv /user/hadoop/file1 /user/hadoop/file2
- hadoop fs -mv hdfs://nn.example.com/file1 hdfs://nn.example.com/file2 hdfs://nn.example.com/file3 hdfs://nn.example.com/dir1
put
使用: hadoop fs -put <localsrc> ... <dst>
从本地文件系统拷贝单个源，或者多个源到目标文件系统。也能够从标准输入写入到目标文件系统。
- hadoop fs -put localfile /user/hadoop/hadoopfile
- hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir
- hadoop fs -put localfile hdfs://nn.example.com/hadoop/hadoopfile
- hadoop fs -put - hdfs://nn.example.com/hadoop/hadoopfile Reads the input from stdin.
rm
使用: hadoop fs -rm [-f] [-r |-R] [-skipTrash] URI [URI ...]
删除參数指定的文件。
參数:
- -f 强行删除。运行删除时显示对要删除的文件的分析信息。当文件不存在的时候也不会调整返回信息；
- -R 递归的删除文件夹以下的全部内容
- -r 和-R一样
- -skipTrash 该參数会忽略回收站，假设启用，则彻底的删除。文件夹规模超大的时候这个选项是非常实用的。假设没实用这个參数，删除的文件会在回收站中找到。
样例:
- hadoop fs -rm hdfs://nn.example.com/file /user/hadoop/emptydir
rmdir
使用: hadoop fs -rmdir [--ignore-fail-on-non-empty] URI [URI ...]
删除文件夹
參数:
- --ignore-fail-on-non-empty: 当使用通配符的时候，假设一个文件夹还包括文件。将不会删除失败。
样例:
- hadoop fs -rmdir /user/hadoop/emptydir
rmr
使用：hadoop fs -rmr [-skipTrash] URI [URI ...]
递归删除
注意:这个命令是过期的。能够使用fs -rm -r命令取代。
setrep
使用: hadoop fs -setrep [-R] [-w] <numReplicas> <path>
改变某个文件的复制因子。假设path是一个路径。那么这个命令就递归的改动全部文件的复制因子
參数：
- -w 使用这个參数，命令会等待复制因子改动完毕。这可能须要非常长时间。
- -R 向后兼容，没有实际效果。
样例:
[root@nn1 bin]# hadoop fs -stat "%b %F %u:%g %o %y %n %r" /fish/1.txt 14 regular file root:supergroup 134217728 2015-08-07 07:50:15 1.txt 3 //開始的副本数是3 [root@nn1 bin]# hadoop fs -setrep -w 4 /fish/1.txt //改动副本数为4 Replication 4 set: /fish/1.txt Waiting for /fish/1.txt ....................................................................................................................................................................................................................................................................................................................................................setrep: `/fish/1.txt': No such file or directory [root@nn1 bin]# hadoop fs -stat "%b %F %u:%g %o %y %n %r" /fish/1.txt<pre name="code" class="java">14 regular file root:supergroup 134217728 2015-08-07 07:50:15 1.txt 4 //结束的副本数为4返回值: 返回0为成功。-1则失败
stat
使用: hadoop fs -stat [format] <path> ...
依据文件/文件夹打印出指定格式的统计信息。
接受的格式：全部块文件大小（%b）,类型(%F),所属分组（%g），名称（%n）。块大小（%o），副本数量（%r），所属username（%u）。和改动时间（%y。%Y），%y展示“yyyy-MM-dd HH:mm:ss”格式的UTC时间。%Y则显示1970年到如今的毫秒数。假设没有指定日期格式，默认则为%y
样例：
- hadoop fs -stat "%F %u:%g %b %y %n" /file
返回值: 返回0为成功。-1则失败
tail
使用: hadoop fs -tail [-f] URI
标准输出中。显示文件末尾的1K的内容
參数：- -f 文件增长时。输出真假的内容。
样例：
- hadoop fs -tail pathname
返回值: 返回0为成功。-1则失败
test
使用: hadoop fs -test -[defsz] URI
參数- -d: 假设是路径是文件夹。则返回0，
- -e: 假设路径存在。则返回0.
- -f: 假设路径是文件，则返回0.
- -s: 假设路径不为空，返回0
- -z: 假设文件长度为0。则返回0
样例:
- hadoop fs -test -e filename
text
使用： hadoop fs -text <src>
将源文件输出为文本格式。同意的格式是zip和TextRecordInputStream。
touchz
使用: hadoop fs -touchz URI [URI ...]
创建一个长度为0的文件。
样例:
- hadoop fs -touchz pathname
返回值: 返回0为成功，-1则失败
usage
Usage: hadoop fs -usage command
返回单个命令的帮助。
样例：hadoop fs -usage du