zoukankan      html  css  js  c++  java
  • Hadoop学习(四) FileSystem Shell命令详解

           FileSystem Shell中大多数命令都和unix命令相同,只是两者之间的解释不同,如果你对unix命令有基本的了解,那么对于FileSystem Shell的命令,你将会感到很亲切。

    appendToFile

    语法:hdfs dfs -appendToFile <localsrc> ... <dst>
    解释:将本地文件系统中的一个文件或多个文件添加到目标文件系统中,也可以从stdin读取input文件添加到目标文件系统中
    范例:
    1 $ hdfs dfs -appendToFile localfile /user/hadoop/hadoopfile
    2 $ hdfs dfs -appendToFile localfile1 localfile2 /user/hadoop/hadoopfile
    3 $ hdfs dfs -appendToFile localfile hdfs://nn.example.com/hadoop/hadoopfile
    4 $ hdfs dfs -appendToFile - hdfs://nn.example.com/hadoop/hadoopfile Reads the input from stdin
    返回结果:
    成功返回0,错误返回1

    cat

    语法:hdfs dfs -cat URI [URI ...]
    解释:打印资源路径到控制台
    范例:
    1 $ hdfs dfs -cat hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2
    2 $ hdfs dfs -cat file:///file3 /user/hadoop/file4
    返回结果:
    成功返回0,错误返回1

    chgrp

    语法:hdfs dfs -chgrp [-R] GROUP URI [URI ...]
    解释:改变文件之间的组关系,操作者必须是文件所有者或者至少是超级用户
    范例:
    1 $ hdfs df -chgrp bigdata hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2
    2 $ hdfs df -chgrp bigdata file:///file3 /user/hadoop/file4
    返回结果:无

    chmod

    语法:hdfs dfs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]
    解释:变更文件权限,-R参数将文件及其所有子文件权限变更,操作者必须是文件所有者或者至少是超级用户
    范例:
    1 #g+w表示给组划分权限,a+w表示给所有用户和组划分权限,u+w表示给用户划分权限
    2 $ hdfs dfs -chmod g+w hdfs://nn1.example.com/file1
    3 $ hdfs dfs -chmod -R g+w hdfs://nn1.example.com/file2
    返回结果:无

    chown

    语法:hdfs dfs -chown [-R] [OWNER][:[GROUP]] URI [URI ]
    解释:变更文件所有者,操作者必须是超级用户
    范例:
    1 $ hdfs dfs -chown -R newOwner:newOwner_group hdfs://nn1.example.com/file1
    返回结果:无

    copyFromLocal

    语法:hdfs dfs -copyFromLocal <localsrc> URI
    解释:该命令与put命令类似,但是该命令仅限于本地文件的添加
    范例:
    1 $ hdfs dfs -copyFromLocal localfile /user/hadoop/hadoopfile
    返回结果:无

    copyToLocal

    语法:hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI <localdst>
    解释:该命令与get命令类似,但是该命令仅限于本地文件的获取
    范例:
    1 $ hdfs dfs -copyFromLocal /user/hadoop/hadoopfile localfile
    返回结果:无

    count

    语法:hdfs dfs -count [-q] [-h] <paths>
    解释:计算目录、文件、以及字节数,输出的列为DIR_COUNT, FILE_COUNT, CONTENT_SIZE FILE_NAME
    • -q:输出列QUOTA, REMAINING_QUATA、SPACE_QUOTA、REMAINING_SPACE_QUOTA、DIR_COUNT、FILE_COUNT、CONTENT_SIZE、FILE_NAME
    • -h:可读格式的大小
    范例:
    1 $ hdfs dfs -count hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2
    2 $ hdfs dfs -count -q hdfs://nn1.example.com/file1
    3 $ hdfs dfs -count -q -h hdfs://nn1.example.com/file1
    返回结果:
    成功返回0,错误返回-1

    cp

    语法:hdfs dfs -cp [-f] [-p | -p[topax]] URI [URI ...] <dest>
    解释:从源到目的地复制文件。此命令允许多个源,以及在这种情况下,目的地必须是一个目录。 
    范例:
    1 $ hdfs dfs -cp /user/hadoop/file1 /user/hadoop/file2
    2 $ hdfs dfs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir
    返回结果:
    成功返回0,错误返回-1

    du

    语法:hdfs dfs -du [-s] [-h] URI [URI ...]
    解释:显示给定目录中的文件和目录的大小或文件的长度,以防其只是一个文件
    • -s:该选项将导致显示文件长度的汇总,而不是单个文件。
    • -h:选项将格式中的“可读的”时尚大小文件(如64.0m代替67108864)
    范例:
    1 $ hdfs dfs -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://nn.example.com/user/hadoop/dir1
    返回结果:
    成功返回0,错误返回-1

    expunge

    语法:hdfs dfs -expunge
    解释:清空垃圾
    范例:
    1 $ hdfs dfs -expunge
    返回结果:无

    get

    语法:hdfs dfs -get [-ignorecrc] [-crc] <src> <localdst>
    解释:复制文件到本地文件系统,
    范例:
    1 $ hdfs dfs -get /user/hadoop/file localfile
    2 $ hdfs dfs -get hdfs://nn.example.com/user/hadoop/file localfile
    返回结果:
    成功返回0,错误返回-1

    getfacl

    语法:hdfs dfs -getfacl [-R] <path>
    解释:显示访问控制列表(ACL)的文件和目录。如果一个目录的默认ACL,然后getfacl也显示默认的ACL。 
    • R:列出所有文件和目录递归ACL。
    • path:文件或目录列表。
    范例:
    1 $ hdfs dfs -getfacl /file
    2 $ hdfs dfs -getfacl -R /dir
    返回结果:
    成功返回0,错误返回非0

    getfattr

    语法:hdfs dfs -getfattr [-R] -n name | -d [-e en] <path>
    解释:显示文件或目录的扩展属性名称和值(如果有的话)
    • -R:递归列出所有文件和目录的属性。
    • -n name:转储命名扩展属性值。
    • -d:转储所有扩展属性的价值与路径。
    • -e encoding:检索后编码值。有效的编码是“文本”、“妖术”,和“Base64”。编码值为文本字符串括在双引号,编码值为十六进制和Base64是前缀0x 0。
    • path:文件或目录。 
    范例:
    1 $ hdfs dfs -getfattr -d /file
    2 $ hdfs dfs -getfattr -R -n user.myAttr /dir
    返回结果:
    成功返回0,错误返回非0

    getmerge

    语法:hdfs dfs -getmerge <src> <localdst> [addnl]
    解释:合并源目录文件内容,并将合并结果输出到本地文件
    范例:
    1 $ hdfs dfs -getmerge hdfs://nn1.example.com/file1 localfile
    返回结果:无

    ls

    语法:hdfs dfs -ls [-R] <args>
    解释:列表展示目录下的所有文件,-R表示递归展示
    范例:
    1 $ hdfs dfs -ls /user/hadoop/file1
    返回结果:
    成功返回0,错误返回-1

    lsr

    语法:hdfs dfs -lsr <args>
    解释:递归展示目录下的所有文件
    范例:
    1 $ hdfs dfs -lsr /user/hadoop/file1
    返回结果:
    成功返回0,错误返回-1

    mkdir

    语法:hdfs dfs -mkdir [-p] <paths>
    解释:创建文件
    范例:
    1 $ hdfs dfs -mkdir /user/hadoop/dir1 /user/hadoop/dir2
    2 $ hdfs dfs -mkdir hdfs://nn1.example.com/user/hadoop/dir hdfs://nn2.example.com/user/hadoop/dir
    返回结果:

    moveFromLocal

    语法:hdfs dfs -moveFromLocal <localsrc> <dst>
    解释:该命令与put类似,不同之处是本地文件被复制后会被删除
    范例:
    1 $ hdfs dfs -moveFromLocal localfile hdfs://nn1.example.com/file1
    返回结果:无

    moveToLocal

    语法:hdfs dfs -moveToLocal [-crc] <src> <dst>
    解释:移动文件到本地文件系统
    范例:
    1 $ hdfs dfs -moveToLocal hdfs://nn1.example.com/file1 localfile
    返回结果:无

    mv

    语法:hdfs dfs -mv URI [URI ...] <dest>
    解释:移动文件到目标目录下
    范例:
    1 $ hdfs dfs -mv /user/hadoop/file1 /user/hadoop/file2
    2 $ hdfs dfs -mv hdfs://nn.example.com/file1 hdfs://nn.example.com/file2 hdfs://nn.example.com/file3 hdfs://nn.example.com/dir1
    返回结果:
    成功返回0,错误返回-1

    put

    语法:hdfs dfs -put <localsrc> ... <dst>
    解释:复制单个或多个本地资源到目标文件系统。另外从stdin读取输入并写入到目标文件系统。 
    范例:
    1 $ hdfs dfs -put localfile /user/hadoop/hadoopfile
    2 $ hdfs dfs -put localfile1 localfile2 /user/hadoop/hadoopdir
    3 $ hdfs dfs -put localfile hdfs://nn.example.com/hadoop/hadoopfile
    4 $ hdfs dfs -put - hdfs://nn.example.com/hadoop/hadoopfile Reads the input from stdin.
    返回结果:
    成功返回0,错误返回-1

    rm

    语法:hdfs dfs -rm [-f] [-r|-R] [-skipTrash] URI [URI ...]
    解释:删除资源
    范例:
    1 $ hdfs dfs -rm hdfs://nn.example.com/file /user/hadoop/emptydir
    返回结果:
    成功返回0,错误返回-1

    rmr

    语法:hdfs dfs -rmr [-skipTrash] URI [URI ...]
    解释:递归删除资源,rmr取代-rm -r
    范例:
    1 $ hdfs dfs -rmr hdfs://nn.example.com/file /user/hadoop/emptydir
    返回结果:
    成功返回0,错误返回-1

    setfcal

    语法:hdfs dfs -setfacl [-R] [-b|-k -m|-x <acl_spec> <path>]|[--set <acl_spec> <path>]
    解释:设置文件和目录的访问控制列表
    范例:
    1 $ hdfs dfs -setfacl -m user:hadoop:rw-/file
    2 $ hdfs dfs -setfacl -x user:hadoop /file
    3 $ hdfs dfs -setfacl -b /file
    4 $ hdfs dfs -setfacl -k /dir
    5 $ hdfs dfs -setfacl --set user::rw-,user:hadoop:rw-,group::r--,other::r--/file
    6 $ hdfs dfs -setfacl -R -m user:hadoop:r-x /dir
    7 $ hdfs dfs -setfacl -m default:user:hadoop:r-x /dir
    返回结果:
    成功返回0,错误返回非0

    setrep

    语法:hdfs dfs -setrep [-R] [-w] <numReplicas> <path>
    解释:更改文件的复制因素。如果路径是一个目录,则该命令递归地更改根目录树下所有文件的复制因素.
    范例:
    1 $ hdfs dfs -setrep -w 3/user/hadoop/dir1
    返回结果:
    成功返回0,错误返回-1

    stat

    语法:hdfs dfs -stat URI [URI ...]
    解释:返回路径上的统计信息
    范例:
    1 $ hdfs dfs -stat path
    返回结果:
    成功返回0,错误返回-1

    tail

    语法: hdfs dfs -tail [-f] URI
    解释:将文件的最后一千字节显示到stdout。
    范例:
    1 $ hdfs dfs -tail pathname
    返回结果:
    成功返回0,错误返回-1

    test

    语法:hdfs dfs -test -[ezd] URI
    解释:检查资源
    • -e:将检查文件是否存在,如果为true,则返回0。
    • -z:将检查文件是否为零长度,如果为真则返回0。
    • -d:将检查路径是否为目录,如果为true则返回0。
    范例:
    1 $ hdfs dfs -test -e filename
    返回结果:
    成功返回0,错误返回-1

    text

    语法:hdfs dfs -text <src>
    解释:获取源文件并以文本格式输出文件。 允许的格式是zip和TextRecordInputStream。
    范例:
    1 $ hdfs dfs -text src
    返回结果:无

    touchz

    语法:hdfs dfs -touchz URI [URI ...]
    解释:创建空文件
    范例:
    1 $ hdfs dfs -touchz pathname
    返回结果:
    成功返回0,错误返回-1
     
  • 相关阅读:
    WCF+EntityFramework+mysql总结
    实现Win7远程桌面关机和重启
    EF 4.1 一些操作
    Ado.net利用反射执行SQL得到实体
    .net IL 指令速查
    VS2010 /VC/bin/rcdll.dll 无法找到资源编译器
    Win7下 httpRequest带证书请求https网站
    VS2010 自动关闭的问题解决方法
    Android 之 悬浮窗口
    论 Java 中获取一组不重复的随机数之性能问题
  • 原文地址:https://www.cnblogs.com/yinghun/p/6232869.html
Copyright © 2011-2022 走看看