zoukankan      html  css  js  c++  java
  • 【HDFS】三、HDFS命令行接口

      通过前面对HDFS基本概念、高可用性、数据读写流程的介绍,我们对HDFS已经有了大致的了解。这里我们还需要明确一点:Hadoop作为一个完整的分布式系统,它有一个抽象的文件系统的概念,而我们介绍的HDFS只是其中的一个实现,一个最常用的实现,实际上还有很多其他的分布式文件系统。

      Hadoop对文件系统提供了很多接口,一般使用URI(统一资源定位符)来表示选取的文件系统具体是哪一个,比如file://表示本地文件系统,而hdfs://表示HDFS,还有其他一些具体的实现,但是不常用到。

      至此,我们对HDFS的理论技术基础已经基本了解,既然它是一个文件系统,类似于我们日常使用的本地文件系统,我们就可以通过命令行的一些命令来与其进行交互,接下来主要介绍其命令行接口。


      当然,为了使用HDFS,首先我们安装和配置Hadoop,可以先以伪分布式的模式在一台电脑中试用,配置的过程这里不再赘述,可以参考《Hadoop权威指南》的附录。

      配置完成后,作为一个文件系统,其主要的操作无非就是:读取文件、新建目录、移动文件、删除数据、列出目录等等,可以使用hadoop fs -help来查看命令帮助。

      以下例子演示其命令行接口的基本使用方法。

    # 从本地文件系统将一个文件复制到HDFS
    $ hadoop fs -copyFromLocal ~/1.txt hdfs://localhost/user/gz.shan/2.txt
    # 从本地文件系统将一个文件复制到HDFS,省略hdfs://localhost,因为这在启动hadoop时已经在配置文件指定
    $ hadoop fs -copyFromLocal ~/1.txt /user/gz.shan/2.txt
    # 从本地文件系统将一个文件复制到HDFS,相对路径,默认就是用户的home目录
    $ hadoop fs -copyFromLocal ~/1.txt 2.txt
    
    # 从HDFS中将文件复制回本地文件系统
    $ hadoop fs -copyToLocal  /user/gz.shan/2.txt ~/3.txt
    
    # 在HDFS中新建目录
    $ hadoop fs -mkdir test 
    
    # 查看当前路径下的文件信息
    $ hadoop fs -ls .
    # 得到的结果是:
    -rw-r--r--   1 gz.shan supergroup         60 2019-06-20 18:18 2.txt                               
    drwxr-xr-x   - gz.shan supergroup          0 2019-06-20 18:21 test 
    # 第一列代表文件模式,第二列代表文件的副本数量,第三列和第四列是文件的所属用户和组别,第五列是文件的大小,以字节为单位,目录是0,第六列和第七列是文件最后修改日期和时间,第八列是文件名
    
    # 删除文件
    $ hadoop fs -rm /user/gz.shan/2.txt
    

      以上就是Hadoop HDFS的命令行接口简单示例,需要补充说明的是:HDFS中的文件访问权限和POSIX中是差不多的,一共三类权限:只读、写入和可执行(分别对应r,w,x),每个文件同样都有所属用户(owner)、所属组别(group)以及模式(mode),这个模式由所属用户的权限、组内成员的权限以及其他用户的权限组成。

  • 相关阅读:
    编程命名规范化
    傻孩子菜单框架(转)
    《数据结构》示范程序树的长子-兄弟表示法
    keil中编译时出现*** ERROR L107: ADDRESS SPACE OVERFLOW
    单片机C语言下LCD多级菜单的一种实现方法
    指针函数与函数指针的区别
    LCD1602汉字、自定义字符取模
    FFmpeg纯净版解码 av_parser_parse2
    ffmpeg 内存读写相关
    AudioSpecificConfig
  • 原文地址:https://www.cnblogs.com/gzshan/p/11060579.html
Copyright © 2011-2022 走看看