zoukankan      html  css  js  c++  java
  • HDFS上传文件

    1.client端向namenode请求上传文件,查看文件是否存在,是否有权限往hdfs写入

    2.如果文件不存在,权限OK就根据副本数N(例如2个),根据网络拓扑选择N个离client端最近的datanode返回client。

    (把文件切块,一个一个block块的请求namenode,返回最优的datanode,datanode要定期向namenode发送心跳,默认3秒,看是否存活,如果死掉,选择返回的主机时就会排除掉死掉的主机)

    3.block1与返回的其中一台主机建立联系(dfs01),这台主机会与另外返回的主机建立联系(dfs02),形成管道流。

    4.client把block数据线读到内存,然后切分成packet的形式沿着管道流发送,发送到每台建立联系的主机。

    5.发送block1完成后,从最后一台主机返回ack响应,沿着管道流响应给client。

    6.发送block1完成后,就发送下一个block,同上。

    7.当所有block存完后,client会要求namenode关闭管道流。

  • 相关阅读:
    AcRxClass::addX
    string.format("%s",name)
    strcmp 与 _tcscmp
    acedinitget
    判断实体的类型 相关操作
    accmcolor
    CAD类型转换
    图的存储结构及遍历
    并查集(Union/Find)
    设计模式--缺醒适配器模式
  • 原文地址:https://www.cnblogs.com/dummyly/p/10010226.html
Copyright © 2011-2022 走看看