zoukankan      html  css  js  c++  java
  • 关于HDFS的读写流程

      今天主要是和大家分享一下有关hdfs的读写流程,有关hadoop和其他相关的基础我会在之后的大数据只是总结中一一的总结出来,有兴趣的小伙伴可以关注我之后的更新

      进入正题首先先由我这位灵魂画手给大家上一张图

      首先先来说一下各自的功能:

      NameNode:负责管理整个文件系统的元数据,以及所对应数据块的信息

      DataNode:负责文件数据块的存储,每一个DataNode代表一个副本

      所以根据上图我们可以得知,首先我们先和NN(NameNode)上传数据块的信息,以及在那些DN(DataNode)上进行存储,之后我们会与DN建立传输通道,这里有一个点是需要注意;dn1,dn2,dn3之间并不是并行建立的而是在dn1收到后会传给dn2并进入应答的队列等待应答。之后的就是进行传输了。

      hdfs的都流程就是将写流程颠倒过来,首先和NN建立联系获取到所要读取的文件分别存储在哪些dn上,之后与dn建立联系读取文件,相比较而言还是比较好理解。

      以上就是我对hdfs读写流程的一些理解,有不足的地方还请指正。

  • 相关阅读:
    【原】git常见用法
    【转】EDID的简介和解析
    rsa公钥和私钥的生成
    往redis中存储数据是利用pipeline方法
    对于接口文档个的说明内容包括哪些
    blueprint的使用
    flask中如何生成迁移文件
    flask中自定义过滤器
    jsonify
    flask自定义处理错误方法
  • 原文地址:https://www.cnblogs.com/yjfb/p/12355779.html
Copyright © 2011-2022 走看看