zoukankan      html  css  js  c++  java
  • Hadoop----hdfs dfs常用命令的使用

    -mkdir  创建目录  hdfs dfs -mkdir [-p] < paths>

    -ls  查看目录下内容,包括文件名,权限,所有者,大小和修改时间  hdfs dfs -ls [-R] < args>

    -put  将本地文件或目录上传到HDFS中的路径  hdfs dfs -put < localsrc> … < dst>

    -get  将文件或目录从HDFS中的路径拷贝到本地文件路径  hdfs dfs -get [-ignoreCrc] [-crc] < src> < localdst>  选项:-ignorecrc选项复制CRC校验失败的文件。-crc选项复制文件和CRC。

    -du  显示给定目录中包含的文件和目录的大小或文件的长度,用字节大小表示。  hdfs dfs -du [-s] [-h] URI [URI …]  选项:-s选项将显示文件长度的汇总摘要,而不是单个文件。-h选项将以“人可读”的方式格式化文件大小(例如64.0m而不是67108864);第一列标示该目录下总文件大小,第二列标示该目录下所有文件在集群上的总存储大小和你的副本数相关(第二列内容=文件大小*副本数),第三列标示你查询的目录

    -dus  显示文件长度的摘要。  hdfs dfs -dus < args>  注意:不推荐使用此命令。而是使用hdfs dfs -du -s。

    -mv  在HDFS文件系统中,将文件或目录从HDFS的源路径移动到目标路径。不允许跨文件系统移动文件。

    -cp  在HDFS文件系统中,将文件或目录复制到目标路径下  hdfs dfs -cp [-f] [-p | -p [topax] ] URI [ URI …] < dest>   选项:-f选项覆盖已经存在的目标。-p选项将保留文件属性[topx](时间戳,所有权,权限,ACL,XAttr)。如果指定了-p且没有arg,则保留时间戳,所有权和权限。如果指定了-pa,则还保留权限,因为ACL是一组超级权限。确定是否保留原始命名空间扩展属性与-p标志无关。

    -copyFromLocal  从本地复制文件到hdfs文件系统(与-put命令相似)  hdfs dfs -copyFromLocal < localsrc> URI  选项:如果目标已存在,则-f选项将覆盖目标。

    -copyToLocal  复制hdfs文件系统中的文件到本地 (与-get命令相似)  hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI < localdst>  

    -rm  删除一个文件或目录  hdfs dfs -rm [-f] [-r|-R] [-skipTrash] URI [URI …]  选项:如果文件不存在,-f选项将不显示诊断消息或修改退出状态以反映错误。-R选项以递归方式删除目录及其下的任何内容。-r选项等效于-R。-skipTrash选项将绕过垃圾桶(如果已启用),并立即删除指定的文件。当需要从超配额目录中删除文件时,这非常有用。

    -cat  显示文件内容到标准输出上。  hdfs dfs -cat URI [URI …]

    -text  获取源文件并以文本格式输出文件。允许的格式为zip和TextRecordInputStream。  hdfs dfs -text

    -touchz  创建一个零长度的文件。  hdfs dfs -touchz URI [URI …]

    -stat  显示文件所占块数(%b),文件名(%n),块大小(%n),复制数(%r),修改时间(%y%Y)  hdfs dfs -stat URI [URI …]

    -tail  显示文件的最后1kb内容到标准输出  hdfs dfs -tail [-f] URI  选项:  -f选项将在文件增长时输出附加数据,如在Unix中一样。

    -count  统计与指定文件模式匹配的路径下的目录,文件和字节数  hdfs dfs -count [-q] [-h] < paths>

    -getmerge  将源目录和目标文件作为输入,并将src中的文件连接到目标本地文件(把两个文件的内容合并起来)  hdfs dfs -getmerge < src> < localdst> [addnl]   注:合并后的文件位于当前目录,不在hdfs中,是本地文件

    -grep  从hdfs上过滤包含某个字符的行内容  hdfs dfs -cat < srcpath> | grep 过滤字段

    -chown  hdfs上文件权限修改  hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]#修改文件的所有者   例如:hdfs dfs -chown -R Administrator:Administrator /user/  

     -distcp  最常用在集群之间的拷贝:hadoop distcp hdfs://master1:8020/foo/bar hdfs://master2:8020/bar/foo

  • 相关阅读:
    java OA系统 自定义表单 流程审批 电子印章 手写文字识别 电子签名 即时通讯
    flowable 获取当前任务流程图片的输入流
    最新 接口api插件 Swagger3 更新配置详解
    springboot 集成 activiti 流程引擎
    java 在线考试系统源码 springboot 在线教育 视频直播功能 支持手机端
    阿里 Nacos 注册中心 配置启动说明
    springboot 集成外部tomcat war包部署方式
    java 监听 redis 过期事件
    springcloudalibaba 组件版本关系
    java WebSocket 即时通讯配置使用说明
  • 原文地址:https://www.cnblogs.com/zyanrong/p/11774997.html
Copyright © 2011-2022 走看看