zoukankan      html  css  js  c++  java
  • NameNode元数据的管理机制(三)

    元数据的管理:     


                  

             第一步:客户端通过DistributedFilesystem 对象中的creat()方法来创建文件,此时,RPC会 通过一个RPC链接协议来调用namenode,并在命名空间中创建一个新文件,namenode执行各种权限以及文件isexist 的检查,dfs返回一个输出流,否则抛出 IOEXCEPTION。输出流控制一个DFSoutPutstream,负责处理数据节点和名称节点之间的通信

             第二步:客户端开始通过输出流写入数据,DFSoutPutstream将客户端写入的数据分成一个个的数据包包,然后写入到dfs中的一个queue,这些queue中的数据包被dfs中的数据流管理,数据流通过一定的分发机制,将这些数据包形成副本并存放在datanode上,当前例如我们设置的dfs.replication=3,则需要将副本放在三个datanode上,这三个datanode会通过一个管线连接,数据流将包分流给管线中第一个的datanode,这个节点会存储包并且发送给管线中的第二个datanode。同样地,第二个数据节点存储包并且传给管线中第三个datanode

          因为hadoop方便快速查询很多东西东西放在内存里,当内存溢出,宕机,停电时会对系统的实时数据造成损害,因此就有解决此类问题,在 处理服务器宕机,停电,内存溢出等灾难,主要实行实时日志记录,等灾难发生可以通过记录的日志快速恢复服务。

      

  • 相关阅读:
    结对-人机对战象棋游戏-最终程序
    课后作业-阅读任务-阅读提问-3
    团队-象棋游戏-模块测试过程
    团队-象棋游戏-模块开发过程
    团队-象棋游戏-项目进度
    结对-人机对战象棋游戏-测试过程
    结队-人机对战象棋游戏-项目进度
    课后作业-阅读任务-阅读提问-2
    团队-象棋游戏-代码设计规范
    20170927-阅读任务-阅读提问
  • 原文地址:https://www.cnblogs.com/SamllBaby/p/5695464.html
Copyright © 2011-2022 走看看