zoukankan      html  css  js  c++  java
  • HDFS文件操作(命令行)

    HDFS是一种分布式文件系统,为MapReduce这种框架下的海量数据分布式处理而设计。

    Hadoop之HDFS文件操作常有两种方式,一种是命令行方式,即Hadoop提供了一套与Linux文件命令类似的命令行工具;另一种是JavaAPI,即利用Hadoop的Java库,采用编程的方式操作HDFS的文件。

    方式一:命令行方式

    Hadoop文件操作命令形式为

    hadoop fs -cmd <args>

    说明:cmd是具体的文件操作命令,<args>是一组数目可变的参数。

    Hadoop最常用的文件操作命令,包括添加文件和目录、获取文件、删除文件等。

    1.添加文件和目录

    HDFS有一个默认工作目录/usr/$USER,其中$USER是你的登录用户名,例如root。该目录不能自动创建,需要执行mkdir命令创建。

    hadoop fs -mkdir  /usr/root

    使用Hadoop的命令put将本地文件README.txt送到HDFS。

    hadoop fs -put README.txt  .

    注意上面这个命令最后一个参数是句点(.),这意味着把本地文件放入到默认的工作目录,该命令等价于:

    hadoop fs -put README.txt     /user/root

    使用Hadoop的ls命令,即:hadoop fs -ls

    2.获取文件

    获取文件包含两层意思,一是HDFS从本地文件中获取文件,即前面介绍的添加文件;二是本地文件从HDFS中获取文件,可以使用Hadoop的get命令。例如若本地文件没有README.txt文件,需要从HDFS中取回,可以执行如下命令。

    hadoop fs -get  README.txt  .

    或者

    hadoop fs -get README.txt  /usr/root/README.txt

    3.删除文件

    Hadoop删除文件命令为rm。例如要删除从本地文件上传的README.txt,可以执行如下命令:

    hadoop  fs -rm  README.txt

    4.检索文件

    检索文件即查阅HDFS中的文件内容,可以使用hadoop中的cat命令。例如要查阅README.txt的内容,可以执行如下命令:

    hadoop fs -cat README.txt

    另外,hadoop的cat命令的输出也可以使用管道传递给Unix 命令的head:

    hadoop fs -cat README.txt | head

    Hadoop也支持tail命令查看最后一千字节。例如要查阅README.txt最后一千个字节,可以执行如下命令。

    hadoop fs -tail README.txt

    5.查阅帮助

    查阅Hadoop命令帮助,可以让我们很好地掌握和使用Hadoop的命令。我们可以执行hadoop fs 获取所用版本Hadoop的一个完整命令类别,也可以使用help来显示某个具体命令的用法及简短描述。

    例如,要了解ls命令,可执行如下命令:

    hadoop  fs -help ls

    以上内容参考自http://blog.csdn.net/wangloveall/article/details/28578393,感谢博主!

  • 相关阅读:
    结巴分词 0.14 版发布,Python 中文分词库
    Lazarus 1.0.2 发布,Pascal 集成开发环境
    Android全屏 去除标题栏和状态栏
    服务器日志现 Android 4.2 传将添多项新特性
    Percona XtraBackup 2.0.3 发布
    长平狐 Android 强制设置横屏或竖屏 设置全屏
    NetBeans 7.3 Beta 发布,全新的 HTML5 支持
    CppDepend现在已经支持Linux
    GromJS 1.7.18 发布,服务器端的 JavaScript
    Apache OpenWebBeans 1.1.6 发布
  • 原文地址:https://www.cnblogs.com/houhaihu/p/6652551.html
Copyright © 2011-2022 走看看