网上看到一张关于hadoop分布式文件系统(hdfs)的工作原理的图片,其实主要是介绍了向hdfs写一个文件的流程。图中的流程已经非常清晰,直接上图
好吧,博客园告诉我少于200字的文章不允许发布到网站首页,我只能巴拉巴拉多扯几句了。以前一直以为从Client端写大文件到hdfs中需要先把文件全部传到Namenode上,然后由namenode来按块切分,并分发到Datanode上去。还是too young, too simple呀,上图简单的几个图让我茅塞顿开,文件的分割由client端完成,并由client端与Namenode分配的datanodes通讯并进行数据传输,Namenode端并不参与数据I/O的过程,这样也大大减轻了Namenode的压力,perfect design!!!,以后还是要好好的读源代码。
吐槽完毕,200字应该有了吧。。。
本文来自博客园,如果查看原文请点击 http://www.cnblogs.com/meibenjin/p/3299003.html