zoukankan      html  css  js  c++  java
  • HDFS文件操作命令

    Hadoop使用的是HDFS,能够实现的功能和我们使用的磁盘系统类似。并且支持通配符,如*。

    1.  查看文件列表

    查看hdfs中/user/admin/hdfs目录下的文件。

    a. 进入HADOOP_HOME目录。

    b. 执行sh bin/hadoop fs -ls /user/admin/hdfs

    查看hdfs中/user/admin/hdfs目录下的所有文件(包括子目录下的文件)。

    a. 进入HADOOP_HOME目录。

    b. 执行sh bin/hadoop fs -lsr /user/admin/hdfs

    2.  创建文件目录

    查看hdfs中/user/admin/hdfs目录下再新建一个叫做newDir的新目录。

    a. 进入HADOOP_HOME目录。

    b. 执行sh bin/hadoop fs -mkdir /user/admin/hdfs/newDir

    3.  删除文件

    删除hdfs中/user/admin/hdfs目录下一个名叫needDelete的文件

    a. 进入HADOOP_HOME目录。

    b. 执行sh bin/hadoop fs -rm /user/admin/hdfs/needDelete

          删除hdfs中/user/admin/hdfs目录以及该目录下的所有文件

    a. 进入HADOOP_HOME目录。

    b. 执行sh bin/hadoop fs -rmr /user/admin/hdfs

     4. 上传文件

    上传一个本机/home/admin/newFile的文件到hdfs中/user/admin/hdfs目录下

    a. 进入HADOOP_HOME目录。

    b. 执行sh bin/hadoop fs –put /home/…… /user/……

    也可以用hadoop fs -copyFromLocal /home/…… hdfs://namenode:9000/user/……复制到HDFS

    5. 下载文件

    下载hdfs中/user/admin/hdfs目录下的newFile文件到本机/home/admin/newFile中

    a. 进入HADOOP_HOME目录。

    b. 执行sh bin/hadoop fs –get /user/admin/hdfs/newFile /home/admin/newFile

    也可以用hadoop fs -copyToLocal hdfs://namenode:9000/user/ubuntu/a.txt /home/ubuntu/a.copy.txt复制到本地

    6. 查看文件内容

    查看hdfs中/user/admin/hdfs目录下的newFile文件

    a. 进入HADOOP_HOME目录。

    b. 执行sh bin/hadoop fs –cat /home/admin/newFile

    7.与磁盘文件系统类似,HDFS中fsck指令可以显示块信息

    hadoop fsck / -files -blocks

  • 相关阅读:
    bzoj2809 [Apio2012]dispatching
    bzoj2743[HEOI2012]采花
    bzoj3626[LNOI2014]LCA
    bzoj2038 [2009国家集训队]小Z的袜子(hose)——莫队
    bzoj2442[Usaco2011 Open]修剪草坪——单调队列优化
    bzoj1588[HNOI2002]营业额统计——双向链表
    洛谷1527(bzoj2738)矩阵乘法——二维树状数组+整体二分
    bzoj1503[NOI2004]郁闷的出纳员——Splay
    洛谷P2014——选课
    洛谷P1352——动规
  • 原文地址:https://www.cnblogs.com/java20130722/p/3206971.html
Copyright © 2011-2022 走看看