zoukankan      html  css  js  c++  java
  • [zz]HDFS文件操作

    Hadoop使用的是HDFS,能够实现的功能和我们使用的磁盘系统类似。并且支持通配符,如*。

           1.  查看文件列表

    查看hdfs中/user/admin/hdfs目录下的文件。

    a. 进入HADOOP_HOME目录。

    b. 执行sh bin/hadoop fs -ls /user/admin/hdfs

    查看hdfs中/user/admin/hdfs目录下的所有文件(包括子目录下的文件)。

    a. 进入HADOOP_HOME目录。

    b. 执行sh bin/hadoop fs -lsr /user/admin/hdfs

           2.  创建文件目录

    查看hdfs中/user/admin/hdfs目录下再新建一个叫做newDir的新目录。

    a. 进入HADOOP_HOME目录。

    b. 执行sh bin/hadoop fs -mkdir /user/admin/hdfs/newDir

           3.  删除文件

    删除hdfs中/user/admin/hdfs目录下一个名叫needDelete的文件

    a. 进入HADOOP_HOME目录。

    b. 执行sh bin/hadoop fs -rm /user/admin/hdfs/needDelete

          删除hdfs中/user/admin/hdfs目录以及该目录下的所有文件

    a. 进入HADOOP_HOME目录。

    b. 执行sh bin/hadoop fs -rmr /user/admin/hdfs

            4. 上传文件

    上传一个本机/home/admin/newFile的文件到hdfs中/user/admin/hdfs目录下

    a. 进入HADOOP_HOME目录。

    b. 执行sh bin/hadoop fs –put /home/admin/newFile /user/admin/hdfs/

            5. 下载文件

    下载hdfs中/user/admin/hdfs目录下的newFile文件到本机/home/admin/newFile中

    a. 进入HADOOP_HOME目录。

                 b. 执行sh bin/hadoop fs –get /user/admin/hdfs/newFile /home/admin/newFile

            6. 查看文件内容

    查看hdfs中/user/admin/hdfs目录下的newFile文件

    a. 进入HADOOP_HOME目录。

    b. 执行sh bin/hadoop fs –cat /home/admin/newFile

  • 相关阅读:
    Educational Codeforces Round 11 复盘
    Tarjan 杂题选讲
    2021-10-31 两校联考 题解
    COCI19-20#6 Trener & COI2020 题解
    CSP 2021 游记
    Educational Codeforces Round 9 题解
    Educational Codeforces Round 8 部分题解
    Educational Codeforces Round 7 部分题解
    CSP2021自闭记
    二项式系数相关恒等式的记录与复习
  • 原文地址:https://www.cnblogs.com/zhangzhang/p/2854428.html
Copyright © 2011-2022 走看看