zoukankan      html  css  js  c++  java
  • HDFS读写数据流程

    1. HDFS读数据流程

      1、与NameNode通信查询元数据,找到文件块所在的DataNode服务器

      2、挑选一台DataNode(网络拓扑上的就近原则,如果都一样,则随机挑选一台DataNode)服务器,请求建立socket流

      3、DataNode开始发送数据(从磁盘里面读取数据放入流,以packet(一个packet为64kb)为单位来做校验)

      4、客户端以packet为单位接收,先在本地缓存,然后写入目标文件

    流程如下:
      

    2. HDFS写数据流程

      1、跟NameNode通信请求上传文件,NameNode检查目标文件是否已经存在,父目录是否已经存在

      2、NameNode返回是否可以上传

      3、Client先对文件进行切分,请求第一个block该传输到哪些DataNode服务器上

      4、NameNode返回3个DataNode服务器DataNode 1,DataNode 2,DataNode 3

      5、Client请求3台中的一台DataNode 1(网络拓扑上的就近原则,如果都一样,则随机挑选一台DataNode)上传数据(本质上是一个RPC调用,建立pipeline),DataNode 1收到请求会继续调用DataNode 2,然后DataNode 2调用DataNode 3,将整个pipeline建立完成,然后逐级返回客户端

      6、Client开始往DataNode 1上传第一个block(先从磁盘读取数据放到一个本地内存缓存),以pocket为单位。写入的时候DataNode会进行数据校验,它并不是通过一个packet进行一次校验而是以chunk为单位进行校验(512byte)。DataNode 1收到一个packet就会传给DataNode 2,DataNode 2传给DataNode 3,DataNode 1每传一个pocket会放入一个应答队列等待应答

      7、当一个block传输完成之后,Client再次请求NameNode上传第二个block的服务器.

    流程如下:

      


  • 相关阅读:
    Codeforces Round #213 (Div. 2) B. The Fibonacci Segment
    关于求解不定方程的n(n-1)=2m(m-1)的解法的总结
    objective-c @()
    objective-c 条件运算符
    关于判断两个矩阵相交的一点想法
    二维几何常用运算
    《为ipad而设计 打造畅销APP》读书笔记
    ios cocos2d FPS过低的解决方法
    python 根据对象和方法名,返回提供这个方法的定义的类
    python 获取类的属性
  • 原文地址:https://www.cnblogs.com/Java-Script/p/11090379.html
Copyright © 2011-2022 走看看