zoukankan      html  css  js  c++  java
  • Hadoop----hdfs dfs常用命令的使用

    用法





        -mkdir
        创建目录
        Usage:hdfs dfs -mkdir [-p] < paths>
        选项:-p
        很像Unix mkdir -p,沿路径创建父目录。

        -ls
        查看目录下内容,包括文件名,权限,所有者,大小和修改时间
        Usage:hdfs dfs -ls [-R] < args>
        选项:-R
        递归地显示子目录下的内容
       

        -put
        将本地文件或目录上传到HDFS中的路径
        Usage:hdfs dfs -put < localsrc> … < dst>




        -get
        将文件或目录从HDFS中的路径拷贝到本地文件路径
        Usage:hdfs dfs -get [-ignoreCrc] [-crc] < src> < localdst>
        选项:
        -ignorecrc选项复制CRC校验失败的文件。
        -crc选项复制文件和CRC。


      

        -du
        显示给定目录中包含的文件和目录的大小或文件的长度,用字节大小表示,文件名用完整的HDFS协议前缀表示,以防它只是一个文件。
        Usage:hdfs dfs -du [-s] [-h] URI [URI …]
        选项:
        -s选项将显示文件长度的汇总摘要,而不是单个文件。
        -h选项将以“人类可读”的方式格式化文件大小(例如64.0m而不是67108864)
       

        -dus
        显示文件长度的摘要。
        Usage:hdfs dfs -dus < args>
        注意:不推荐使用此命令。而是使用hdfs dfs -du -s。
     

        -mv
        在HDFS文件系统中,将文件或目录从HDFS的源路径移动到目标路径。不允许跨文件系统移动文件。
        Usage: hdfs dfs -mv URI [URI …] < dest>
       

        -cp
        在HDFS文件系统中,将文件或目录复制到目标路径下
        Usage:hdfs dfs -cp [-f] [-p | -p [topax] ] URI [ URI …] < dest>
        选项:
        -f选项覆盖已经存在的目标。
        -p选项将保留文件属性[topx](时间戳,所有权,权限,ACL,XAttr)。如果指定了-p且没有arg,则保留时间戳,所有权和权限。如果指定了-pa,则还保留权限,因为ACL是一组超级权限。确定是否保留原始命名空间扩展属性与-p标志无关。
       

        -copyFromLocal
        从本地复制文件到hdfs文件系统(与-put命令相似)
        Usage: hdfs dfs -copyFromLocal < localsrc> URI
        选项:
        如果目标已存在,则-f选项将覆盖目标。

        -copyToLocal
        复制hdfs文件系统中的文件到本地 (与-get命令相似)
        Usage: hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI < localdst>

        -rm
        删除一个文件或目录
        Usage:hdfs dfs -rm [-f] [-r|-R] [-skipTrash] URI [URI …]
        选项:
        如果文件不存在,-f选项将不显示诊断消息或修改退出状态以反映错误。
        -R选项以递归方式删除目录及其下的任何内容。
        -r选项等效于-R。
        -skipTrash选项将绕过垃圾桶(如果已启用),并立即删除指定的文件。当需要从超配额目录中删除文件时,这非常有用。
       

        -cat
        显示文件内容到标准输出上。
        Usage:hdfs dfs -cat URI [URI …]
     

        -text
        Usage: hdfs dfs -text
        获取源文件并以文本格式输出文件。允许的格式为zip和TextRecordInputStream。

        -touchz
        创建一个零长度的文件。
        Usage:hdfs dfs -touchz URI [URI …]
      

        -stat
        显示文件所占块数(%b),文件名(%n),块大小(%n),复制数(%r),修改时间(%y%Y)。
        Usage:hdfs dfs -stat URI [URI …]

        -tail
        显示文件的最后1kb内容到标准输出
        Usage:hdfs dfs -tail [-f] URI
        选项:
        -f选项将在文件增长时输出附加数据,如在Unix中一样。

        -count
        统计与指定文件模式匹配的路径下的目录,文件和字节数
        Usage: hdfs dfs -count [-q] [-h] < paths>

        -getmerge
        将源目录和目标文件作为输入,并将src中的文件连接到目标本地文件(把两个文件的内容合并起来)
        Usage:hdfs dfs -getmerge < src> < localdst> [addnl]
        注:合并后的文件位于当前目录,不在hdfs中,是本地文件
       

        -grep
        从hdfs上过滤包含某个字符的行内容
        Usage:hdfs dfs -cat < srcpath> | grep 过滤字段
      

    原文链接:https://blog.csdn.net/WQY992/article/details/89002269

  • 相关阅读:
    队列学哪个好
    python web 开发
    随笔
    问题集录
    大早晨地,快睡觉了,才想明白多线程代理验证是如何做的
    线程真的挺不错的,但是多了的时候也有点让人头痛
    愁死我了,写个控制台怎么好象在写解释器一样
    我越发地发现,我是在写一个解释器了
    哈哈,真有意思
    我要崩溃了。。。。
  • 原文地址:https://www.cnblogs.com/qfdy123/p/12133188.html
Copyright © 2011-2022 走看看