zoukankan      html  css  js  c++  java
  • HDFS读写数据流程

    HDFS的组成

    1.NameNode:存储文件的元数据,如文件名,文件目录结构,文件属性(创建时间,文件权限,文件大小)
    以及每个文件的块列表和块所在的DataNode等。类似于一本书的目录功能。
    2.DataNode:在本地文件系统存储文件块数据,以及块数据的校验和。
    3.SecondaryNameNode:用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据的快照。
    

    HDFS写数据流程

    HDFS写数据流程

    1.HDFS客户端向NameNode请求是否可以上传该文件
    2.NameNode返回客户端可以上传该文件
    3.客户端请求NameNode索要文件上传DataNode路径
    4.NameNode返回客户端上传的DataNode地址
    5.客户端根据返回的DataNode,与其建立通道
    6.DataNode应答成功
    7.客户端上传数据
    

    HDFS读数据流程

    HDFS读数据流程

    1.HDFS客户端向NameNode请求下载文件
    2.NameNode返回目标文件的元数据信息
    3.客户端请求读取目标文件所在DataNode
    4.DataNode向客户端传输数据
    
    

    本博客仅为博主学习总结,感谢各大网络平台的资料。蟹蟹!!

  • 相关阅读:
    239. [LeetCode ]Sliding Window Maximum
    152.[LeetCode] Maximum Product Subarray
    53. [LeetCode] Maximum Subarray
    90 [LeetCode] Subsets2
    78[LeetCode] Subsets
    练习7.52
    练习7.47、7.48、7.49、7.51
    关于类类型的隐式类型转换
    练习7.44、7.45、7.46
    练习7.36、7.37、7.39、7.40
  • 原文地址:https://www.cnblogs.com/shaofeer/p/11154321.html
Copyright © 2011-2022 走看看