zoukankan      html  css  js  c++  java
  • Hadoop----hdfs dfs常用命令的使用

    用法





        -mkdir
        创建目录
        Usage:hdfs dfs -mkdir [-p] < paths>
        选项:-p
        很像Unix mkdir -p,沿路径创建父目录。

        -ls
        查看目录下内容,包括文件名,权限,所有者,大小和修改时间
        Usage:hdfs dfs -ls [-R] < args>
        选项:-R
        递归地显示子目录下的内容
       

        -put
        将本地文件或目录上传到HDFS中的路径
        Usage:hdfs dfs -put < localsrc> … < dst>




        -get
        将文件或目录从HDFS中的路径拷贝到本地文件路径
        Usage:hdfs dfs -get [-ignoreCrc] [-crc] < src> < localdst>
        选项:
        -ignorecrc选项复制CRC校验失败的文件。
        -crc选项复制文件和CRC。


      

        -du
        显示给定目录中包含的文件和目录的大小或文件的长度,用字节大小表示,文件名用完整的HDFS协议前缀表示,以防它只是一个文件。
        Usage:hdfs dfs -du [-s] [-h] URI [URI …]
        选项:
        -s选项将显示文件长度的汇总摘要,而不是单个文件。
        -h选项将以“人类可读”的方式格式化文件大小(例如64.0m而不是67108864)
       

        -dus
        显示文件长度的摘要。
        Usage:hdfs dfs -dus < args>
        注意:不推荐使用此命令。而是使用hdfs dfs -du -s。
     

        -mv
        在HDFS文件系统中,将文件或目录从HDFS的源路径移动到目标路径。不允许跨文件系统移动文件。
        Usage: hdfs dfs -mv URI [URI …] < dest>
       

        -cp
        在HDFS文件系统中,将文件或目录复制到目标路径下
        Usage:hdfs dfs -cp [-f] [-p | -p [topax] ] URI [ URI …] < dest>
        选项:
        -f选项覆盖已经存在的目标。
        -p选项将保留文件属性[topx](时间戳,所有权,权限,ACL,XAttr)。如果指定了-p且没有arg,则保留时间戳,所有权和权限。如果指定了-pa,则还保留权限,因为ACL是一组超级权限。确定是否保留原始命名空间扩展属性与-p标志无关。
       

        -copyFromLocal
        从本地复制文件到hdfs文件系统(与-put命令相似)
        Usage: hdfs dfs -copyFromLocal < localsrc> URI
        选项:
        如果目标已存在,则-f选项将覆盖目标。

        -copyToLocal
        复制hdfs文件系统中的文件到本地 (与-get命令相似)
        Usage: hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI < localdst>

        -rm
        删除一个文件或目录
        Usage:hdfs dfs -rm [-f] [-r|-R] [-skipTrash] URI [URI …]
        选项:
        如果文件不存在,-f选项将不显示诊断消息或修改退出状态以反映错误。
        -R选项以递归方式删除目录及其下的任何内容。
        -r选项等效于-R。
        -skipTrash选项将绕过垃圾桶(如果已启用),并立即删除指定的文件。当需要从超配额目录中删除文件时,这非常有用。
       

        -cat
        显示文件内容到标准输出上。
        Usage:hdfs dfs -cat URI [URI …]
     

        -text
        Usage: hdfs dfs -text
        获取源文件并以文本格式输出文件。允许的格式为zip和TextRecordInputStream。

        -touchz
        创建一个零长度的文件。
        Usage:hdfs dfs -touchz URI [URI …]
      

        -stat
        显示文件所占块数(%b),文件名(%n),块大小(%n),复制数(%r),修改时间(%y%Y)。
        Usage:hdfs dfs -stat URI [URI …]

        -tail
        显示文件的最后1kb内容到标准输出
        Usage:hdfs dfs -tail [-f] URI
        选项:
        -f选项将在文件增长时输出附加数据,如在Unix中一样。

        -count
        统计与指定文件模式匹配的路径下的目录,文件和字节数
        Usage: hdfs dfs -count [-q] [-h] < paths>

        -getmerge
        将源目录和目标文件作为输入,并将src中的文件连接到目标本地文件(把两个文件的内容合并起来)
        Usage:hdfs dfs -getmerge < src> < localdst> [addnl]
        注:合并后的文件位于当前目录,不在hdfs中,是本地文件
       

        -grep
        从hdfs上过滤包含某个字符的行内容
        Usage:hdfs dfs -cat < srcpath> | grep 过滤字段
      

    原文链接:https://blog.csdn.net/WQY992/article/details/89002269

  • 相关阅读:
    Win10 UWP Tile Generator
    Win10 BackgroundTask
    UWP Tiles
    UWP Ad
    Win10 build package error collections
    Win10 八步打通 Nuget 发布打包
    Win10 UI入门 pivot multiable DataTemplate
    Win10 UI入门 导航滑动条 求UWP工作
    UWP Control Toolkit Collections 求UWP工作
    Win10 UI入门 SliderRectangle
  • 原文地址:https://www.cnblogs.com/qfdy123/p/12133188.html
Copyright © 2011-2022 走看看