zoukankan      html  css  js  c++  java
  • hadoop学习笔记(七):HDFS文件的读写流程

    阅读目录

    回到顶部

    一、HDFS读取文件流程:

     

    详解读取流程:

    Client调用FileSystem.open()方法:

      1 FileSystem通过RPC与NN通信,NN返回该文件的部分或全部block列表(含有block拷贝的DN地址)。

      2 选取举栗客户端最近的DN建立连接,读取block,返回FSDataInputStream

    Client调用输入流的read()方法:

      1 当读到block结尾时,FSDataInputStream关闭与当前DN的连接,并未读取下一个block寻找最近DN

      2 读取完一个block都会进行checksum验证,如果读取DN时出现错误,客户端会通知NN,然后再从下一个拥有该block拷贝的DN继续读。

      3 如果block列表读完后,文件还未结束,FileSystem会继续从NN获取下一批block列表。

    关闭FSDataInputStream

    回到顶部

    二、HDFS文件写入流程:

     详细写入流程:

    Client调用FileSystem的create()方法:

      1 FileSystem向NN发出请求,在NN的namespace里面创建一个新的文件,但是并不关联任何块

      2 NN检查文件是否已经存在、操作权限。如果检查通过,NN记录新文件信息,并在某一个DN上创建数据块。

      3 返回FSDataOutputStream,将Client引导至该数据块执行写入操作。

    Client调用输出流的write()方法:

      HDFS默认将每个数据块放置3份。FSDataOutputStream将数据首先写到第一节点,第一节点将数据包传送并写入第二节点,第二节点 --> 第三节点。

    Client调用流的close()方法:

      flush缓冲区的数据包,block完成复制份数后,NN返回成功消息。

  • 相关阅读:
    Razor里写函数
    Tuple
    javascript下将字符类型转换成布尔值
    如何成为一名快枪手
    easyUI datagrid 前端假分页
    操作JSON对象
    服务器端将复合json对象传回前端
    将JSON对象转换成IList,好用linq
    操作系统学习笔记三 进程
    如何遍历newtonsoft.json的JObject里的JSON数据
  • 原文地址:https://www.cnblogs.com/hzcya1995/p/13313305.html
Copyright © 2011-2022 走看看