zoukankan      html  css  js  c++  java
  • HDFS常用命令操作

    HDFS常用操作命令如下:

    • 查询目录
    # 查看/目录下的目录和文件
    hadoop fs -ls / 
    # 递归查看/目录下的目录和文件
    hadoop fs -lsr /
    
    • 创建目录
    # 新增目录/user/test,hdfs支持同时创建多级目录(如果父目录user不存在,会创建user和test两级目录)
    hadoop fs -mkdir /user/test
    
    • 上传、下载文件
    # 将1.txt文件上传到hdfs的/user/test目录下
    hadoop fs -put 1.txt /user/test
    # 将1.txt文件上传到hdfs的/user/test目录下,重新命名为2.txt
    hadoop fs -put 1.txt /user/test/2.txt
    # 将hdfs的/user/test/1.txt文件下载到本机当前目录下
    hadoop fs -get /user/test/1.txt ./
    # 将hdfs的/user/test/1.txt文件下载到本机当前目录下,并重新命名为2.txt
    hadoop fs -get /user/test/1.txt ./2.txt
    
    • 删除
    # 注意删除命令使用要慎重!!!
    # 删除文件1.txt
    hadoop fs -rm /user/test/1.txt 
    # 删除目录/user/test
    hadoop fs -rm /user/test
    
    • 移动
    # 将1.txt文件移动到/user/tmp目录下
    hadoop fs -mv /user/test/1.txt /user/tmp 
    
    • 复制
    # cp命令适用于小规模数据拷贝,大规模数据,建议使用distcp命令
    hadoop fs -cp /user/test/1.txt /user/tmp 将文件1.txt拷贝到/user/tmp目录下。
    
    • 大规模数据拷贝
    hadoop distcp [-参数1,-参数2,...] 源目录 目标目录
    常用参数主要有:
    -skipcrccheck:忽略crc校验。数据拷贝时,默认会对拷贝前后的数据做crc校验。对于跨集群拷贝来说,不同集群间的文件块大小是不一样的,因此及时数据正确拷贝,其crc比对结果可能仍然有误。因此,对于使用distcp命令的用户,若数据为跨集群拷贝,那么请加此参数。
    -i:忽略拷贝failed异常。该参数往往用在数据量比较大的(如几周)拷贝。拷贝过程中,往往会由于网络不稳定,不可避免的导致极少数节点数据拷贝出错。-i参数,可以忽略节点拷贝异常,从而不至于使得job无法进行。
    -其它参数:distcp还有诸多其它参数,如带宽限制,副本设置等等。
    
    • 统计文件容量
    #统计/user/test目录下每一子目录及文件的占用空间容量
    hadoop fs -du -h /user/test
    # 统计/user/test目录的占用空间容量
    hadoop fs -du -s -h /user/test 
    
    • 统计文件数
    # 统计/user/test目录的信息,返回结果依次为:文件夹总数量,文件总数量,占用空间容量,目录
    hadoop fs -count /user/test
    # 统计/user/test目录的信息,返回结果自动单位换算
    hadoop fs -count -h /user/test
    
    • 查看文件内容
    # 查看文件内容-cat/-text
    hadoop fs -cat /user/test/1.txt 
    hadoop fs -text /user/test/1.txt
    
    • 创建空文件
    # 创建一个1.txt空文件
    hadoop fs -touchz /user/test/1.txt
    
    • 配额查询
    # 查询/user/test帐号的配额,返回结果依次为:节点数总配额,剩余节点数,空间总配额,剩余空间,已用目录数量,已用文件数量,已用空间容量
    hadoop fs -count -q /user/test
    
    • 权限配置
    # 设置1.txt的权限为777
    hadoop -chmod 777 /user/test/1.txt
    
    • 用户设置
    # 递归设置/user/test目录的用户和组用户为yuhaohao。
    hadoop -chown -R yuhaohao:yuhaohao /user/test
    
  • 相关阅读:
    Shell Script-读取配置文件
    [LeetCode]题解(python):048-Rotate Image
    [LeetCode]题解(python):043-Multiply Strings
    暑假学习记录(七)
    暑期学习记录(六)
    暑假学习记录(五)
    暑假学习记录(四)
    暑假学习记录(三)
    暑假学习记录(二)
    暑假学习记录(一)
  • 原文地址:https://www.cnblogs.com/yuhaohao/p/13434281.html
Copyright © 2011-2022 走看看