zoukankan      html  css  js  c++  java
  • GFS中Master的容错

    上一篇日志 中提到Master中维护了元数据(即,描述数据的数据)。那么元数据包括哪些呢?

    Name Space,即文件系统的目录结构

    Chunk 与 文件名的映射因为一个文件会被划分成多个Chunk*,因此需要一个映射来告诉系统,这个文件对应哪几个chunk

    Chunk副本的位置信息一个chunk会存储三个副本*

    ① 和 ② 的容错是通过“操作日志”来完成的。也就说存在operation log里。当系统发生故障时,通过分析log就可以知道当时存了哪些文件,这些文件又被分成了哪些个chunks

    ③是存储在Chunk Server上的,当发生故障时,进行磁盘恢复即可

    * 三个副本,意思是一份数据存储三份。如此一来,看似磁盘利用率不高,但对比与磁盘的廉价成本以及算法容错的复杂性,这无疑是一种简单有效且实现难度最小的方法。

    ** chunk。在GFS中,一个文件被划分成多个chunk,每个chunk的默认大小是64MB。而每个chunk又会被划分为多个block,每个block为64K。并且,每个Block都会对应32bit的校验码。当读取某个chunk中的某个block时,如果与校验码产生出入,则表示此block存在错误,那么将抛弃这个chunk,转而读取另一个chunk副本(每一个chunk都被存储了三次,所以这个坏了还可以读别的)。

  • 相关阅读:
    Selenium(Python)等待元素出现
    java文件的I/O
    Map的四种遍历方式
    模板类实现链表
    字符串相关库函数使用
    动态规划之背包问题
    最长递增子序列
    深度优先搜索(DFS),逃离迷宫
    素数环问题(递归回溯)
    枚举(百鸡问题)
  • 原文地址:https://www.cnblogs.com/elaron/p/2706108.html
Copyright © 2011-2022 走看看