zoukankan      html  css  js  c++  java
  • 关于HDFS的读写流程

      今天主要是和大家分享一下有关hdfs的读写流程,有关hadoop和其他相关的基础我会在之后的大数据只是总结中一一的总结出来,有兴趣的小伙伴可以关注我之后的更新

      进入正题首先先由我这位灵魂画手给大家上一张图

      首先先来说一下各自的功能:

      NameNode:负责管理整个文件系统的元数据,以及所对应数据块的信息

      DataNode:负责文件数据块的存储,每一个DataNode代表一个副本

      所以根据上图我们可以得知,首先我们先和NN(NameNode)上传数据块的信息,以及在那些DN(DataNode)上进行存储,之后我们会与DN建立传输通道,这里有一个点是需要注意;dn1,dn2,dn3之间并不是并行建立的而是在dn1收到后会传给dn2并进入应答的队列等待应答。之后的就是进行传输了。

      hdfs的都流程就是将写流程颠倒过来,首先和NN建立联系获取到所要读取的文件分别存储在哪些dn上,之后与dn建立联系读取文件,相比较而言还是比较好理解。

      以上就是我对hdfs读写流程的一些理解,有不足的地方还请指正。

  • 相关阅读:
    推送技术 --SignalR
    软件解耦
    xrBarCode 条形码的密度设置
    Javascript 中方法的重写
    数据库锁
    oracle instr,substr 截取字符串
    循环读取写入表
    Oracle For 循环,字符串拼接,查找
    iis,webservice 启用 acrobat.exe 打印
    iis,webservice 打印
  • 原文地址:https://www.cnblogs.com/yjfb/p/12355779.html
Copyright © 2011-2022 走看看