zoukankan      html  css  js  c++  java
  • HDFS读流程

    读流程
    FSDataIutputStream
    1.Client通过FileSystem.open(filePath),
    去与NN进行【RPC】通信,返回该文件的部分
    或全部的block列表,也就是返回FSDataInputStream对象。

    2.Client调用【FSDataInputStream】对象的read()方法,
    a. 去与第一个块的最近的DN进行read,读取完后,会check,
    假如success,会关闭与当前DN通信。假如fail 会记录失败的DN+block信息,下次就不会读取。
    那么会去该块的第二个DN的地址读取。
    b.然后去第二个块的最近的DN上读取,会check,success,会关闭与当前DN通信。
    c.假如当前block列表全部读取完成,文件还没结束,那么FileSystem会从NN获取下一批的block列表。
    (对于操作者,是透明的,感觉就是连续的数据流)

    3.Client调用FSDataInputStream.close() 关闭输入流

    图解:

  • 相关阅读:
    JSP——useBean
    jsp 几种跳转
    jsp MIME
    T-SQL之触发器(下)
    T-SQL之触发器
    T-SQL之存储过程
    T-SQL之游标
    T-SQL之自定义函数
    T-SQL之函数
    T-SQL复习心得(1)变量
  • 原文地址:https://www.cnblogs.com/xuziyu/p/10432046.html
Copyright © 2011-2022 走看看