zoukankan      html  css  js  c++  java
  • HDFS读写数据流程

    HDFS的组成

    1.NameNode:存储文件的元数据,如文件名,文件目录结构,文件属性(创建时间,文件权限,文件大小)
    以及每个文件的块列表和块所在的DataNode等。类似于一本书的目录功能。
    2.DataNode:在本地文件系统存储文件块数据,以及块数据的校验和。
    3.SecondaryNameNode:用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据的快照。
    

    HDFS写数据流程

    HDFS写数据流程

    1.HDFS客户端向NameNode请求是否可以上传该文件
    2.NameNode返回客户端可以上传该文件
    3.客户端请求NameNode索要文件上传DataNode路径
    4.NameNode返回客户端上传的DataNode地址
    5.客户端根据返回的DataNode,与其建立通道
    6.DataNode应答成功
    7.客户端上传数据
    

    HDFS读数据流程

    HDFS读数据流程

    1.HDFS客户端向NameNode请求下载文件
    2.NameNode返回目标文件的元数据信息
    3.客户端请求读取目标文件所在DataNode
    4.DataNode向客户端传输数据
    
    

    本博客仅为博主学习总结,感谢各大网络平台的资料。蟹蟹!!

  • 相关阅读:
    面向对象设计与实用的思考(主动对象与被动对象)
    改进弧长法 判断点是否在多边形内 c#代码
    PaintCode begin
    kiwivm putty lnmp
    初心已变,我也不是当时的我
    spfa
    tree dp
    开心就好之修行ing
    MIME 参考手册
    TypeScript学习和参考手册
  • 原文地址:https://www.cnblogs.com/shaofeer/p/11154321.html
Copyright © 2011-2022 走看看