zoukankan      html  css  js  c++  java
  • 第二堂课20210309

    云计算与信息安全

    第二讲

    Google文件系统(GFS)

     SDN软件定义网络,主从式的,由服务器决定的。

    注意:亚马逊是P2P的,不是主从式的。

    两位Google创始人,拉里-佩奇 和 谢尔盖-布林。

    Google文件系统是分布式文件系统。

    Verizon用48亿美元收购了第一个搜索,这个搜索叫做雅虎。

    对于一个文件系统,我们最关心什么呢?关心安全性、文件读写的效率(速度快)、容错性(稳定性,需要对文件进行多于一个的备份)、文件操作性能、文件操作的一致性。

    一、GFS的系统架构

    主从式的。

    用户和Master之间交换的是控制流(信息流),不是大段的数据,是短报文的形式。TCP的三次握手协议也是短报文的形式。

    主:GFS主服务器文件命名空间;

    从:GFS chuck server,Linux文件系统。

    元数据:meta data

    数据服务器:chunk server

    需要默认有三个以上的备份数据

     主服务器(Master server)要求有两个,互为备份。

    GFS整体是三个部分:客户端、主服务器 、数据服务器。

    client(客户端)和Mater之间只有控制流,没有数据流,大大降低了Master的负载。

    client和Chunk Server之间直接传输数据流,同时由于文件被分为多个Chunk进行分布式存储,使得整个系统的I/O高度并行,系统整体性能得到提高。

    GFS的特点:

    一、采用中心服务器模式

    可以方便增加Chunk server

    仿版进行负载均衡

    二、不缓存数据

    文件操作大部分是流式读写,不存在大量重复读写,使用Cache对性能提高不大。

     三、在用户态下实现

    POSIX接口

    四、只提供专用接口

    二、容错机制

    一、Master容错

    Mater保存了三种元数据:命名空间、Chunk和文件名的映射表、Chunk副本的位置信息。

    二、Master Server容错

    ACID:原子性、一致性、隔离性和持久性,简称事务的ACID特性。

     副本出现版本冲突,怎么解决?答:通过投票选择票数高的即可。

    注意:后面的课程会讲解亚马逊文件系统,并和谷歌文件系统进行比较。

    三、系统管理技术

    系统观念里技术有四个:大规模集群安装技术、故障检测技术、节点动态加入技术、节能技术。

     分布式数据处理MapReduce

    产生背景

    并行编程模式最早是在1995年提出。

    编程模型

     

     

    参考链接:https://blog.csdn.net/yangquanhui1991/article/details/47732593

    https://www.cnblogs.com/zhangyinhua/p/7712773.html

    雪儿言
  • 相关阅读:
    Jrain'Lのvueblog
    前端知识整理 の IMWeb
    js编程小练习1
    mac版本cornerstone的无限期破解方法(转)
    教你解锁被锁住的苹果mac电脑的文件跟文件夹,同时也可删除被锁的文件跟文件夹(转)
    Mac下配置svn服务器
    ios 查看模拟器路径以及应用的文件夹
    python怎么解压压缩的字符串数据
    python全局变量被覆盖的问题
    PyInstaller:把你的Python转为Exe
  • 原文地址:https://www.cnblogs.com/weixq351/p/14506203.html
Copyright © 2011-2022 走看看