参考文档：https://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/FileSystemShell.html#df
1. 环境：hadoop-2.6.0
2. 参数说明： hadoop fs
[-appendToFile <localsrc> ... <dst>]
[-cat [-ignoreCrc] <src> ...]
[-checksum <src> ...]
[-chgrp [-R] GROUP PATH...]
[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
[-chown [-R] [OWNER][:[GROUP]] PATH...]
[-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>]
[-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
[-count [-q] [-h] <path> ...]
[-cp [-f] [-p | -p[topax]] <src> ... <dst>]
[-createSnapshot <snapshotDir> [<snapshotName>]]
[-deleteSnapshot <snapshotDir> <snapshotName>]
[-df [-h] [<path> ...]]
[-du [-s] [-h] <path> ...]
[-expunge]
[-find <path> ... <expression> ...]
[-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
[-getfacl [-R] <path>]
[-getfattr [-R] {-n name | -d} [-e en] <path>]
[-getmerge [-nl] <src> <localdst>]
[-help [cmd ...]]
[-ls [-d] [-h] [-R] [<path> ...]]
[-mkdir [-p] <path> ...]
[-moveFromLocal <localsrc> ... <dst>]
[-moveToLocal <src> <localdst>]
[-mv <src> ... <dst>]
[-put [-f] [-p] [-l] <localsrc> ... <dst>]
[-renameSnapshot <snapshotDir> <oldName> <newName>]
[-rm [-f] [-r|-R] [-skipTrash] <src> ...]
[-rmdir [--ignore-fail-on-non-empty] <dir> ...]
[-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
[-setfattr {-n name [-v value] | -x name} <path>]
[-setrep [-R] [-w] <rep> <path> ...]
[-stat [format] <path> ...]
[-tail [-f] <file>]
[-test -[defsz] <path>]
[-text [-ignoreCrc] <src> ...]
[-touchz <path> ...]
[-usage [cmd ...]]
-ls 显示当前目录结构
-ls -R 递归显示目录结构
-du 统计目录下文件大小 ; -du -s 汇总目录下文件大小,单位字节 ; -du -h ,显示目录下各个文件的大小。 -du -s -h /user/hive/warehouse/table_test ，汇总该表所占据的存储空间,显示单位。
-rm -f -r 递归删除目录文件
-cp -f 复制文件 source destination
-mv 移动文件或目录
-mkdir 创建目录
-get -f 下载文件
-put -f 上传文件
3. hadoop fs ，hadoop dfs ，hdfs dfs 都可以进行操作。 hadoop fs 的使用面最广，可以操作所有的文件系统； hadoop dfs ，hdfs dfs 只能操作 HDFS相关的文件。【Linux 目录环境】
4. 在hive 模式下，使用 dfs 命令进行相关操作，如删除文件：dfs -rm -r -f /user/hive/warehouse/ods/t_column_to_row
5. hadoop fs -du /user/hive/warehouse/ods |sort -r -n -k 1 |awk '{ print $1/(1024*1024*1024),$3}' |head -20 -- 查询指定目录下存储量最大的top20
hadoop命令行 与job相关的：
命令行工具 •
1.查看 Job 信息：
hadoop job -list
2.杀掉 Job：
hadoop job –kill job_id
3.指定路径下查看历史日志汇总：
hadoop job -history output-dir
4.作业的更多细节：
hadoop job -history all output-dir
5.打印map和reduce完成百分比和所有计数器：
hadoop job –status job_id
6.杀死任务。被杀死的任务不会不利于失败尝试：
hadoop jab -kill-task <task-id>
7.使任务失败。被失败的任务会对失败尝试不利：
hadoop job -fail-task <task-id>
附：常用fs命令
hadoop fs -mkdir /tmp/input 在HDFS上新建文件夹 hadoop fs -put input1.txt /tmp/input 把本地文件input1.txt传到HDFS的/tmp/input目录下 hadoop fs -get input1.txt /tmp/input/input1.txt 把HDFS文件拉到本地 hadoop fs -ls /tmp/output 列出HDFS的某目录 hadoop fs -cat /tmp/ouput/output1.txt 查看HDFS上的文件 hadoop fs -rmr /home/less/hadoop/tmp/output 删除HDFS上的目录 hadoop dfsadmin -report 查看HDFS状态，比如有哪些datanode，每个datanode的情况 hadoop dfsadmin -safemode leave 离开安全模式 hadoop dfsadmin -safemode enter 进入安全模式