zoukankan      html  css  js  c++  java
  • Hadoop点滴-HDFS文件系统

    1、HDFS中,目录作为元数据,保存在namenode中,而非datanode中

    2、HDFS的文件权限模型与POSIX的权限模式非常相似,使用  r  w  x

    3、HDFS的文件执行权限(X)可以忽略,因为你不能在hdfs中执行文件

    Hadoop有一个抽象系统的概念,而HDFS只是其中的一个实现,支持的文件系统有:

    文件系统 URI方案 Java实现(都在org.apache.hadoop包中) 描述
    Loca   file     fs.LocalFileSystem 使用客户端校验和  的本地文件系统    
    HDFS     hdfs    
    WebHDFS Webhdfs    
    Secure WebHDFS   swebhdfs    
    HAR har    
    View viewfs    
    FTP ftp    
    S3 S3a    
    Azure wasb    
    Swift swift    

    如:通过HDFS命令显示本地文件系统信息

    hdfs dfs -ls file:///

    4、接口

      1、HTTP

      通过WebHDFS协议提供HTTP REST API,但较java客户端要慢;

      启动 ./httpfs.sh  start

      浏览器访问  http://192.168.0.10:14000/

    2、C语言

      开发进度要落后于java

    3、NFS

      使用Hadoop的NFSv3网关,将HDFS挂载为本地客户端的文件系统是可行的,可以在文件末尾最佳数据,但不能随机修改数据

  • 相关阅读:
    十天冲刺之三
    设计模式-模板方法模式
    设计模式-观察者模式
    设计模式-迭代子模式
    设计模式-责任链模式
    设计模式-门面模式
    1395. Count Number of Teams
    747. Largest Number At Least Twice of Others
    1160. Find Words That Can Be Formed by Characters
    1539. Kth Missing Positive Number
  • 原文地址:https://www.cnblogs.com/jiangtao1218/p/8810878.html
Copyright © 2011-2022 走看看