zoukankan      html  css  js  c++  java
  • HDFS常用命令

       HDFS 常用的文件操作命令 

    hdfs dfs -text /pub/20151019/1/4/gwmvod/mediags.moretv.com.cn/*.bz2 | wc -l

     hdfs dfs -du -s -h /pub/20151019/1/4/gwmvod/mediags.moretv.com.cn 查看容量大小 


    1.-cat 
    使用方法:hadoop fs -cat URI 
    说明:将路径指定的文件输出到屏幕 
    示例: hadoop fs -cat hdfs://host1:port1/file 
    hadoop fs -cat file:///file3 

    2.-copyFromLocal 
    使用方法:hadoop fs -copyFromLocal <localsrc>URI 
    说明: 将本地文件复制到 HDFS 中。 

    3.copyToLocal 
    使用方法:hadoop fs -copyToLocal <localsrc>URI 
    说明: 将一个文件从 HDFS 系统中复制到本地文件 

    4.-cp 
    使用方法:hadoop fs -cp URI 
    说明:将文件从源路径复制到目标路径。这个命令可以复制多个源路径,但是目标路径必须 
    是一个目录 
    示例: hadoop fs -cp /user/file /uesr/files 
    Hadoop fs -cp /user/file1 /user/files /user/dir 

    5.-du 
    使用方法:hadoop fs -du URI 
    说明: 显示目录中所有文件大小,或者指定一个文件时,显示此文件大小 
    示例: hadoop fs -du /user/dir1 
    Hadoop fs -du hdfs://host:port/user/file 

    6.-dus 
    使用方法:hadoop fs -dus <ars> 
    说明: 显示目标文件大小 

    7.-expunge 
    使用方法:hadoop fs -expunge 
    说明: 用于清空回收站 

    8.-get 
    使用方法:hadoop fs -get <locaodst> 
    说明:复制文件到本地文件系统。 
    示例: hadoop fs -get /user/file localfile 
    Hadoop fs -get hdfs://host:port/file localfile 

    9.-ls 
    使用方法:hadoop fs -ls <arg> 
    说明:浏览本地文件,并按如下格式返回文件信息 
    文件名<副本数> 文件大小 修改日期 权限 用户 ID/组 ID 
    如果浏览的是一个木渎,则返回其子文件的一个列表,信息如下: 
    目录名<dir> 修改日期 修改时间 权限 用户 ID/组 ID 
    示例: hadoop fs -ls /user/file 
    Hadoop fs -ls hdfs://host:port/user/dir 

    10.-lsr 
    使用方法:hadoop fs -lsr 
    说明: 递归第查阅文件内容 

    11.-mkdir 
    使用方法:hadoop fs -mkdir<path> 
    说明: 创建对应的文件目录,并直接创建相应的父目录 
    示例: hadoop fs -mkdir /user/dir1/dir2/dir3/file 
    Hadoop fs -mkdir hdfs://host:port/user/dir 

    12.-mv 
    使用方法:hadoop fs -mv URI <dest> 
    说明: 将源文件移动到目标路径,这目标路径可以有多个,不允许在不同文件系统移动。 
    示例: hadoop fs -mv /user/file1 /user/file2 
    Hadoop fs -mv hdfs://host:port/file1 hdfs://host:prot/file2 

    13.-put 
    使用方法:hadoop fs -put<localsrc> <dst> 
    说明: 从本地文件系统复制单个或多个源路径到目标文件系统。 
    示例: hadoop fs -put localfile /user/file 
    hadoop fs -put localfile hdfs://host:port/user/file 

    14.-rm 
    使用方法: hadoop fs -rm URI 
    说明:删除指定的文件,且要求非空的目录和文件。 
    示例: hadoop fs -rm hdfs://host:port/file 

    15.-rmr 
    使用方法: hadoop fs -rmr URI 
    说明:递归地删除指定文件中的空目录。 

    16.-Setrep 
    使用方法: hadoop fs -setrep [R] <path> 
    说明: 改变一个副本复制份数 
    示例: hadoop fs -setrep -w 3 -R /user/file 

    17.-Test 
    使用方法:hadoop fs -test -[ezd] URI 
    说明: 使用 e z d 对文件进行检查 
    -e 检查文件是否存在,若存在返回值为 0; 
    -z 检查文件是否为 0 字节,如果是则返回 0; 
    -d 检查路径是否为目录,如果是则返回 1,否则返回 0 

    18.-text 
    使用方法:hadoop fs -text <src> 
    说明:将源文件输出为文本格式,运行的格式是 zip 以及 Text 类 
    以上是 HDFS 中使用命令行对 HDFS 中文件进行操作,与一般操作命令类似,例如我们 
    将某一个文件从本地的文件系统复制到 HDFS 中。可以通过执行以下命令进行操作: 
    $ hadoop fs -copyFromLocal /user/localFile.txt sample.txt 
    此部分代码通过调用命令 fs,指定执行脚本命令-copyFromLocal,将本地文 localFile.txt 
    复制到运行在 localhost 上的 HDFS 文件系统中。 

    19. part-r-00000.snappy 这种文件能直接用类似 cat 的命令查看吗

    hdfs dfs -text /tmp/output/part-r-00000.snappy | less

  • 相关阅读:
    jQuery EasyUI API 中文文档 数字框(NumberBox)
    jQuery EasyUI API 中文文档 数值微调器(NumberSpinner)
    jQuery EasyUI API 中文文档 日期时间框(DateTimeBox)
    jQuery EasyUI API 中文文档 微调器(Spinner)
    jQuery EasyUI API 中文文档 树表格(TreeGrid)
    jQuery EasyUI API 中文文档 树(Tree)
    jQuery EasyUI API 中文文档 属性表格(PropertyGrid)
    EntityFramework 数据操作
    jQuery EasyUI API 中文文档 对话框(Dialog)
    jQuery EasyUI API 中文文档 组合表格(ComboGrid)
  • 原文地址:https://www.cnblogs.com/tonychai/p/4516529.html
Copyright © 2011-2022 走看看