zoukankan      html  css  js  c++  java
  • 访问HDFS文件系统

    一、命令行接口

    默认操作的是hdfs

    hadoop dfsadmin -safemode leave/enter---离开或进入安全模式

    hadoop fs -copyFromLocal    localfrom   hdfsdest---从本地文件系统复制文件到hdfs

    hadoop fs -ls

    可以通过指定URL,hadoop为我们提供操作不同文件系统的接口

    hadoop fs -ls file:///---------------------操作的是本地文件系统

    二、程序访问HADOOP的文件系统

    1、非JAVA语言访问

          ---WebHDFS(namenodedatanode内嵌webhdfs端节点运行)--的风俗dfs.webhdfs.enabled:true--默认设置为true

          ----HttpFS代理,通过httpfs.sh启动代理,默认端口14000

         ----C语言库libhdfs

    2、NFSv3(hadoop)网关,支持文件系统的挂载,支持追加数据,不能随机修改。

    3、FUSE--用户空间的文件挂载支持,优先NFS

    三、java接口访问

    1、通过FileSystem抽象接口,访问hadoop支持的文件系统

    ----通过java程序时别hdfs url

        static{

         URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory())

        }

        IOUtils.copybytes(from,to,bufsize,bool[是否自动关闭输入流])

  • 相关阅读:
    TCP11种状态
    多客户连接僵尸进程的处理
    gethostname(获取主机名)、gethostbyname(由主机名获取IP地址)
    点对点通信实例
    XCTF simple js
    XCTF WEB backup
    bugku SKCTF管理系统
    php漏洞 sha1函数
    bugku--速度要快
    bugku秋名山车神
  • 原文地址:https://www.cnblogs.com/justart/p/11632117.html
Copyright © 2011-2022 走看看