zoukankan      html  css  js  c++  java
  • Hadoop点滴-HDFS文件系统

    1、HDFS中,目录作为元数据,保存在namenode中,而非datanode中

    2、HDFS的文件权限模型与POSIX的权限模式非常相似,使用  r  w  x

    3、HDFS的文件执行权限(X)可以忽略,因为你不能在hdfs中执行文件

    Hadoop有一个抽象系统的概念,而HDFS只是其中的一个实现,支持的文件系统有:

    文件系统 URI方案 Java实现(都在org.apache.hadoop包中) 描述
    Loca   file     fs.LocalFileSystem 使用客户端校验和  的本地文件系统    
    HDFS     hdfs    
    WebHDFS Webhdfs    
    Secure WebHDFS   swebhdfs    
    HAR har    
    View viewfs    
    FTP ftp    
    S3 S3a    
    Azure wasb    
    Swift swift    

    如:通过HDFS命令显示本地文件系统信息

    hdfs dfs -ls file:///

    4、接口

      1、HTTP

      通过WebHDFS协议提供HTTP REST API,但较java客户端要慢;

      启动 ./httpfs.sh  start

      浏览器访问  http://192.168.0.10:14000/

    2、C语言

      开发进度要落后于java

    3、NFS

      使用Hadoop的NFSv3网关,将HDFS挂载为本地客户端的文件系统是可行的,可以在文件末尾最佳数据,但不能随机修改数据

  • 相关阅读:
    基于聚宽量化交易平台实现量化交易策略
    量化交易——双均线策略(金叉死叉)
    商城支付功能
    商城——结算中心模块
    Tushare(金融数据接口包)
    CSS页面布局单位总结
    Python
    Python
    无需编程的爬虫
    Python
  • 原文地址:https://www.cnblogs.com/jiangtao1218/p/8810878.html
Copyright © 2011-2022 走看看