zoukankan      html  css  js  c++  java
  • haoop fs 命令

    Hadoop fs 命令详解

     

    参考文档:https://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/FileSystemShell.html#df

    1. 环境:hadoop-2.6.0

    2. 参数说明: hadoop fs
    [-appendToFile <localsrc> ... <dst>]
    [-cat [-ignoreCrc] <src> ...]
    [-checksum <src> ...]
    [-chgrp [-R] GROUP PATH...]
    [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
    [-chown [-R] [OWNER][:[GROUP]] PATH...]
    [-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>]
    [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
    [-count [-q] [-h] <path> ...]
    [-cp [-f] [-p | -p[topax]] <src> ... <dst>]
    [-createSnapshot <snapshotDir> [<snapshotName>]]
    [-deleteSnapshot <snapshotDir> <snapshotName>]
    [-df [-h] [<path> ...]]
    [-du [-s] [-h] <path> ...]
    [-expunge]
    [-find <path> ... <expression> ...]
    [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
    [-getfacl [-R] <path>]
    [-getfattr [-R] {-n name | -d} [-e en] <path>]
    [-getmerge [-nl] <src> <localdst>]
    [-help [cmd ...]]
    [-ls [-d] [-h] [-R] [<path> ...]]
    [-mkdir [-p] <path> ...]
    [-moveFromLocal <localsrc> ... <dst>]
    [-moveToLocal <src> <localdst>]
    [-mv <src> ... <dst>]
    [-put [-f] [-p] [-l] <localsrc> ... <dst>]
    [-renameSnapshot <snapshotDir> <oldName> <newName>]
    [-rm [-f] [-r|-R] [-skipTrash] <src> ...]
    [-rmdir [--ignore-fail-on-non-empty] <dir> ...]
    [-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
    [-setfattr {-n name [-v value] | -x name} <path>]
    [-setrep [-R] [-w] <rep> <path> ...]
    [-stat [format] <path> ...]
    [-tail [-f] <file>]
    [-test -[defsz] <path>]
    [-text [-ignoreCrc] <src> ...]
    [-touchz <path> ...]
    [-usage [cmd ...]]

    -ls 显示当前目录结构

    -ls -R 递归显示目录结构

    -du 统计目录下文件大小 ;  -du -s 汇总目录下文件大小,单位字节  ; -du -h ,显示目录下各个文件的大小。  -du -s -h  /user/hive/warehouse/table_test ,汇总该表所占据的存储空间,显示单位。

    -rm -f -r 递归删除目录文件

    -cp -f 复制文件 source destination

    -mv 移动文件或目录

    -mkdir 创建目录

    -get -f 下载文件

    -put -f 上传文件

    3. hadoop fs ,hadoop dfs ,hdfs dfs 都可以进行操作。 hadoop fs 的使用面最广,可以操作所有的文件系统; hadoop dfs ,hdfs dfs 只能操作 HDFS相关的文件。【Linux 目录环境】

    4. 在hive 模式下,使用 dfs 命令进行相关操作,如删除文件:dfs -rm -r -f  /user/hive/warehouse/ods/t_column_to_row

    5. hadoop fs -du  /user/hive/warehouse/ods  |sort -r -n -k 1 |awk '{ print $1/(1024*1024*1024),$3}'  |head -20   -- 查询指定目录下存储量最大的top20

    原文:https://www.cnblogs.com/kimbo/p/6212732.html

  • 相关阅读:
    Mycat适合场景及不适合场景
    solr与Elasticsearch对比
    分布式搜索之搭建Solrcloud(Solr集群)
    Mysql索引最左匹配原则
    CAS实现单点登录SSO执行原理及部署
    Spring Cloud,Dubbo及HSF对比
    Dubbo支持的协议的详解
    Dubbo架构设计详解
    几种分布式锁的实现方式
    深入分析volatile的实现原理
  • 原文地址:https://www.cnblogs.com/xingfengzuolang/p/10713421.html
Copyright © 2011-2022 走看看