zoukankan      html  css  js  c++  java
  • Hadoop

    Hadoop - hdfs dfs常用命令的使用

    用法

     

    1,-mkdir

    创建目录
    Usage:hdfs dfs -mkdir [-p] < paths>
    选项:-p
    很像Unix mkdir -p,沿路径创建父目录。

    2,-ls

    查看目录下内容,包括文件名,权限,所有者,大小和修改时间
    Usage:hdfs dfs -ls [-R] < args>
    选项:-R
    递归地显示子目录下的内容

    3,-put

    将本地文件或目录上传到HDFS中的路径
    Usage:hdfs dfs -put < localsrc> … < dst>

    4,-get

    将文件或目录从HDFS中的路径拷贝到本地文件路径
    Usage:hdfs dfs -get [-ignoreCrc] [-crc] < src> < localdst>
    选项:
    -ignorecrc选项复制CRC校验失败的文件。
    -crc选项复制文件和CRC。

    5,-du

    显示给定目录中包含的文件和目录的大小或文件的长度,用字节大小表示,文件名用完整的HDFS协议前缀表示,以防它只是一个文件。
    Usage:hdfs dfs -du [-s] [-h] URI [URI …]
    选项:
    -s选项将显示文件长度的汇总摘要,而不是单个文件。
    -h选项将以“人类可读”的方式格式化文件大小(例如64.0m而不是67108864)

    6,-dus

    显示文件长度的摘要。
    Usage:hdfs dfs -dus < args>
    注意:不推荐使用此命令。而是使用hdfs dfs -du -s。

    7,-mv

    在HDFS文件系统中,将文件或目录从HDFS的源路径移动到目标路径。不允许跨文件系统移动文件。
    Usage: hdfs dfs -mv URI [URI …] < dest>

    8,-cp

    在HDFS文件系统中,将文件或目录复制到目标路径下
    Usage:hdfs dfs -cp [-f] [-p | -p [topax] ] URI [ URI …] < dest>
    选项:
    -f选项覆盖已经存在的目标。
    -p选项将保留文件属性[topx](时间戳,所有权,权限,ACL,XAttr)。如果指定了-p且没有arg,则保留时间戳,所有权和权限。如果指定了-pa,则还保留权限,因为ACL是一组超级权限。确定是否保留原始命名空间扩展属性与-p标志无关。

    9,-copyFromLocal

    从本地复制文件到hdfs文件系统(与-put命令相似)
    Usage: hdfs dfs -copyFromLocal < localsrc> URI
    选项:
    如果目标已存在,则-f选项将覆盖目标。

    10,-copyToLocal

    复制hdfs文件系统中的文件到本地 (与-get命令相似)
    Usage: hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI < localdst>

    11,-rm

    删除一个文件或目录
    Usage:hdfs dfs -rm [-f] [-r|-R] [-skipTrash] URI [URI …]
    选项:
    如果文件不存在,-f选项将不显示诊断消息或修改退出状态以反映错误。
    -R选项以递归方式删除目录及其下的任何内容。
    -r选项等效于-R。
    -skipTrash选项将绕过垃圾桶(如果已启用),并立即删除指定的文件。当需要从超配额目录中删除文件时,这非常有用。

    12,-cat

    显示文件内容到标准输出上。
    Usage:hdfs dfs -cat URI [URI …]

    13,-text

    Usage: hdfs dfs -text
    获取源文件并以文本格式输出文件。允许的格式为zip和TextRecordInputStream。

    14,-touchz

    创建一个零长度的文件。
    Usage:hdfs dfs -touchz URI [URI …]

    15,-stat

    显示文件所占块数(%b),文件名(%n),块大小(%n),复制数(%r),修改时间(%y%Y)。
    Usage:hdfs dfs -stat URI [URI …]

    16,-tail

    显示文件的最后1kb内容到标准输出
    Usage:hdfs dfs -tail [-f] URI
    选项:
    -f选项将在文件增长时输出附加数据,如在Unix中一样。

    17,-count

    统计与指定文件模式匹配的路径下的目录,文件和字节数
    Usage: hdfs dfs -count [-q] [-h] < paths>

    18,-getmerge

    将源目录和目标文件作为输入,并将src中的文件连接到目标本地文件(把两个文件的内容合并起来)
    Usage:hdfs dfs -getmerge < src> < localdst> [addnl]
    注:合并后的文件位于当前目录,不在hdfs中,是本地文件

    19,-grep

    从hdfs上过滤包含某个字符的行内容
    Usage:hdfs dfs -cat < srcpath> | grep 过滤字段

    转载:https://blog.csdn.net/WQY992/article/details/89002269 

  • 相关阅读:
    485串口接线
    mvc3 升级mvc5
    VB连接ACCESS数据库,使用 LIKE 通配符问题
    VB6 读写西门子PLC
    可用的 .net core 支持 RSA 私钥加密工具类
    解决 Win7 远程桌面 已停止工作的问题
    解决 WinForm 重写 CreateParams 隐藏窗口以后的显示问题
    解决安装 .net framework 发生 extracting files error 问题
    CentOS7 安装配置笔记
    通过特殊处理 Resize 事件解决 WinForm 加载时闪烁问题的一个方法
  • 原文地址:https://www.cnblogs.com/lizm166/p/13355183.html
Copyright © 2011-2022 走看看